字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
% a' x  O- P$ C& zGB2312:  1字节一个字符

  E  ?9 F5 x; a0 r: x例子：
; [$ `. ?" t! S' d- Q
+ i' u! x3 N/ w( b: E* j, j. G“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
( r8 ?, B- |# Q8 j( C) R; X按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
4 q$ X$ U9 W4 a8 h2 V把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
' G9 N; X* l" l# A  v& P注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
; G+ e; D% V, Z

1. class CChineseCode
   
2. {
   5 y; ^* i% K9 A& X- Z
3.    public:
   7 k& a/ R8 R5 g) }  p' d
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   " a* A0 F! x3 d: N/ _% w
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   3 t4 O! ?2 W, _; O( a
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   6 |: E7 \( ]7 }4 N. |' T
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   / D: F* u8 B, A% E
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   & |; b# O% ~! @$ s/ q' M
9. }
   & a  b* g8 b) ?
10. 
    . a& w# S: p3 o9 p" n! h. K) s
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    ! y3 I$ g& O1 X! K; k4 N" X
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    4 I7 u9 x" r9 Z! r
14.     char* pchar = (char *)pText;
    ; j9 A8 z/ ^/ Q6 r# G) y
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
      S% n2 b8 d' e/ S: Q
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    0 m! S+ n" G; W. g6 ~2 I6 u
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    ' _( v( }& {, N2 f* X7 f: m
30. {
    ! A; {9 ^. T9 R' A1 o- R" }
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    
34. 
    ( }* N, T4 T: g! J2 R
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    2 O: i, |3 v; C
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    ' p) v) k' R* V+ M6 U3 s7 I. r
42.     memset(rst,0,nLength);
    ) S8 e; ^. X+ a1 r+ y, o: _% o' d4 X
43.    
    * L% Q/ U2 o9 ~* |  K9 H
44.     int i = 0;
    
45.     int j = 0;      
    - r* S- ]/ Z2 Y2 i* |4 \
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    , x, M$ j9 A  }9 t- Q
49.             if( *(pText + i) >= 0)
    
50.             {
    % Y: X$ x- V* X. p
51.                     rst[j++] = pText[i++];
    ) N+ r- X9 g1 t, T* j# A
52.             }
    
53.             else
    / b+ g0 q- j7 U* v8 A
54.             {
    0 A9 a+ ~' x% v$ K
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    9 v& _) V. f2 y0 _+ U/ X
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    
60.                     unsigned short int tmp = 0;
    # {1 ?0 z' i0 A5 |3 H. w. w; @
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    5 `) s# P* L6 v# c
65.                     j += 3;
    , z$ W9 a& P  t9 `: k0 E
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    & y; ?( F* q; K) z
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    3 s! ?+ V2 L  x, }. D1 R+ T
73.     delete []rst;   
    
74.    
    
75.     return;
    : Q% {6 E3 V6 Q! [1 P1 q
76. }
    
77. 
    1 d- z( E5 Y1 M" b$ t! H
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    7 Q7 v1 N0 q( W6 D$ x. z
79. {
    9 B, p3 T. K) T7 b7 o
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    1 }; v) ]' l2 V/ a; B
83. 
    $ _: k: I/ {) c( O9 T3 T+ L
84.     int i =0;
    
85.     int j = 0;
    / z: N* B* A/ e( T6 G
86.    
    7 p9 F; X  T) x* s: y
87.     while(i < pLen)
    0 b( N9 p) j5 v% d7 r! b$ f; t$ N
88.     {
    ) c3 H7 i2 R( Q% ~, m
89.         if(pText[i] > 0)
    
90.         {
    ) P6 Z2 G0 k8 f7 ?' S
91.                 newBuf[j++] = pText[i++];                       
    * P; `' w0 B# w* h3 U/ \! K& _
92.         }
    
93.         else                 
    9 n- [5 w; N( P! @0 f
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    6 v, ~6 [; |$ {; o
97.         
    7 l7 n* @$ n5 S+ _+ j
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     9 z  _8 [) G5 ]) r" r
101.                 newBuf[j + 1] = Ctemp[1];
     $ n) F- c+ [  L7 U! Y
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     7 }2 L/ ?7 e2 t  z! j% @& A
105.         }
     
106.     }
     9 L) x! r9 b2 h
107.     newBuf[j] = '\0';
     3 H2 t- w: D% j! S* j3 o
108.    
     3 I9 z! g6 G2 H0 ^
109.     pOut = newBuf;
     ( m- n3 }6 X) e+ \* D8 Z  e, U
110.     delete []newBuf;
     1 r! d3 g' r7 n4 ?6 g, t3 R( a
111.    
     8 X: B& v/ N, J- O
112.     return;
     & s) n: q0 e. s1 W& S
113. }  

复制代码