字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
) I. |, s" q- `
' j7 }& `( `4 E& PUTF-8:   3字节一个字符
& ]' w7 @+ d4 O5 c0 D9 W5 G% B& P3 GUNICODE: 2字节一个字符
GB2312:  1字节一个字符
% w# {* m) r7 N1 l0 y, u
例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
  M" L5 N% t  w& _按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
0 H# @0 X0 Q/ y0 b) o. ?把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
4 ~+ p$ P# G( i9 H& F

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   5 e/ k( V8 E4 u5 e1 |1 C
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

: ]7 F) H( q6 U1 m- ~3 ?, p

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   % K9 e+ a6 t' U! X' r, D
2. {
   
3.     char* uchar = (char *)pOut;
   % H( E2 V! M; @
4. 
   - _: b$ [1 ]3 |# @: X
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   ; a) c3 ^3 Z4 F! j) ?
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   
9. }
   
10. 
    + S' r( a' E# ?5 Y% r  y) g: W
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    , l1 I8 @0 I* W3 f- T- S4 O
15. 
    3 O- U5 x5 W3 r
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    & \& J' z" @# o  k6 r9 z6 G
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    , W6 W# u2 D, D4 F- R. z
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    2 L. q; D0 N( i- w
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    $ q# B5 \. Z4 E! n% [0 v/ r
26.     return;
    
27. }     
    # A4 g5 Z' l" W3 {# m
28. 
    2 z9 E6 i' a/ l# b" u( n7 B* C* H
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    ! d; ]( A' E" p% b$ o& C8 q8 E
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    9 p: T1 P3 h. R- y
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    * f6 v# U, L7 o) f
38.     int nLength = pLen* 3;
    * C( M0 F0 r: [
39.     char* rst = new char[nLength];
    
40.    
    / `7 S8 T% W* C6 g- Y
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    0 o* O/ }7 L" K+ n
43.    
    
44.     int i = 0;
    
45.     int j = 0;      
    
46.     while(i < pLen)
    1 p! s& w% _2 `, K
47.     {
    * M  f2 a: ?2 o$ h$ i
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    
51.                     rst[j++] = pText[i++];
    6 |! K4 ^9 s/ F* ^/ D
52.             }
    
53.             else
    $ i6 a4 N$ [" k
54.             {
    
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    1 ?1 n4 k) G$ X
57.                     
    ( j* v. c( U5 E& B% {* @( a
58.                     UnicodeToUTF_8(buf,&pbuffer);
      Q3 ?+ |  \/ u. E6 p2 G
59.                     
    # i5 O! X% p7 l+ h5 T
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    * U# e3 |, y& B) s
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    
65.                     j += 3;
    ; W% s' d4 b+ ^% e0 ]5 w" {
66.                     i += 2;
    # a! Z; Q$ |- M$ R! Q
67.             }
    . ^5 ?: I7 s) A, B+ `+ y" R2 U
68.     }
    ! ^- l3 ~" Z: L8 S( d' [% a
69.     rst[j] = '\0';
    / @" ?- C* a( s: n1 [4 K
70. 
    8 t4 L" [* }5 ^" K; r& a3 u
71.     //返回结果
    
72.     pOut = rst;            
    ( a! ~$ d8 l0 [: m
73.     delete []rst;   
    1 Y5 s! n1 t. J1 h5 }) a: F
74.    
    . Q* k+ h. v' y9 s( X
75.     return;
    6 ^$ t7 a0 |# V+ M
76. }
    
77. 
    : U/ y6 p3 c; R4 ^6 }3 {' Y/ N
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    6 M) h3 m6 g& P/ p' }
79. {
    
80.     char * newBuf = new char[pLen];
    0 `5 z5 d) U& U  H3 y, r5 z2 u
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    0 j' v* ?  s6 I3 E+ q+ u1 f
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
      B5 _* ~/ m. e, d, q
88.     {
    
89.         if(pText[i] > 0)
    2 m9 K  h4 o! G/ T& `5 Y% `
90.         {
    7 {/ s3 a  \; K3 F
91.                 newBuf[j++] = pText[i++];                       
    . w3 g; N% }* i1 I
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    8 c6 e% y8 D' c+ t' v$ X
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     7 z  Z2 B1 k; D& J8 V0 S
106.     }
     
107.     newBuf[j] = '\0';
     ! W1 a% {3 F; g2 o# R) w2 [: n& l
108.    
     $ a2 o( r& P, [  n3 V$ y
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     
113. }  

复制代码