字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

! }3 L) [; h5 ~& j- o6 i! ^UTF-8:   3字节一个字符
+ y2 v3 i* f' c7 e- GUNICODE: 2字节一个字符
GB2312:  1字节一个字符

. K# _4 e8 u0 I' I! I8 J例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
5 q; Q9 m5 J  C6 {% S4 z“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
4 b4 E7 i1 @* S& Z( J; W5 s: j按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
& m! _9 ]7 ^! h+ t注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
2 M0 c, ]8 U% T" n- k! \3 r% l9 D

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   1 `- T3 w! j* v  k+ L: M! t7 I
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   " u- O4 j- c0 k( J+ U2 C9 K, x$ X6 q
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   # |1 o! I$ H3 `8 b' G
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   ! v$ u* V( c- G6 q
10. };

复制代码

类实现

- ^, i9 N) i" {, Q6 j" U% R$ O$ t

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   ) O3 I3 ~+ w/ O7 _1 C" x6 j: x" @3 K
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   0 M8 d  _' O! r2 o9 A  L, C7 f
8.     return;
   
9. }
   
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    7 x8 j+ Q5 E$ R( k
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    
21. }
    5 x. r8 I9 `# E
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    $ T2 u* n$ V2 P2 f7 H
26.     return;
    
27. }     
    ! _. |6 c) Q. G4 j, H
28. 
    # b7 X& {$ P) R% Y  {7 n9 {
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    # T$ J2 W" g  ^5 @, V
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    4 x( j0 j+ w) i0 A  H
32.     return ;
    
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    5 p0 h0 r) \% z" e2 A+ Z, K( `. [
39.     char* rst = new char[nLength];
    9 |/ Y# R6 m1 Z' M& C. B  z- ~
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    $ b) O  e  l: x& U1 ]
43.    
    , l+ H* W+ ~+ ]! I. j8 k- g
44.     int i = 0;
    
45.     int j = 0;      
    
46.     while(i < pLen)
    ) C) M$ _, ~. Z
47.     {
    ! M( H7 J0 c6 p( S& Z: `7 ^: t) u
48.             //如果是英文直接复制就可以
    ) ]: e  L7 D4 V  n
49.             if( *(pText + i) >= 0)
    # Y8 a: c9 C3 a" s$ A, u' `' j
50.             {
    , h% m3 Y' y0 V( r; U* b% j% ~4 K3 }0 @7 t
51.                     rst[j++] = pText[i++];
    
52.             }
    9 @' E5 s$ A" L( u2 u
53.             else
    6 h3 E; Y( \' u. T9 O8 O
54.             {
    ' X3 P0 x, m, @6 u5 t6 E0 S6 y' Y$ n- b
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    1 n* u6 |0 B+ n5 z
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    ) T- r3 x5 ]- s, O
65.                     j += 3;
    
66.                     i += 2;
    ' e1 Z- ^; [$ I6 K( K
67.             }
    $ o) ~. N' ]+ V
68.     }
    ( }! [* U3 Y+ g) E/ V; c
69.     rst[j] = '\0';
    
70. 
    9 m$ s7 m# d$ R: Q$ Q! w
71.     //返回结果
    - v! p4 ~! j( u5 A9 Q
72.     pOut = rst;            
    2 d0 r& ~! ?: }& r2 U. t' M/ V
73.     delete []rst;   
    * H  d4 g, K% l* m" v
74.    
    ' Q  y" C8 h4 F! e8 V
75.     return;
    " S0 U, W* K+ u9 \1 E
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    ( @! T4 d6 H! c; s% ^: X# t
79. {
    
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
    3 _0 I( y6 B% q+ ]! e
84.     int i =0;
    
85.     int j = 0;
    ! u. y7 D0 f" i+ ]
86.    
    0 |8 Y5 ?  [; d1 I
87.     while(i < pLen)
    
88.     {
    # v5 F) [* Q! T6 ~" y( S- Y1 u
89.         if(pText[i] > 0)
    * ~& q! T6 I2 h1 T4 D
90.         {
    ( {& @; B- A) O# y! O& Z8 l( M
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    9 `0 [+ A+ s; e5 g& s- h
99.             
    + y: O) l; c3 ?
100.                 newBuf[j] = Ctemp[0];
     ) K3 D1 G8 c0 _# H! a
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     ) g: @# h6 ?3 s6 Y, c* U. Y5 J) i
104.                 j += 2;   
     ' j* V8 q+ w5 i
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     ! ]2 I& J, u' C1 R/ E! i% {
113. }  

复制代码