字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
5 e2 x8 {6 D$ a6 c& v" G" K( t
+ U0 T+ E( S  V- j1 SUTF-8:   3字节一个字符
3 T2 l8 {6 k5 w; g7 I  ^. `UNICODE: 2字节一个字符
GB2312:  1字节一个字符

0 q5 M- q! D9 D: ?! m& {, O例子：

: n- Z4 d) d" ]“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
( }) d+ g2 m+ Q0 \! R% l  Q“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
' _$ j- Z! @+ d6 Z- w1 {按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
8 @- U/ D9 j5 R" @& u( w) @! W把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
3 J2 k6 T/ s# i' N6 N+ n经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
3 h( _% |- X3 b! T
类定义

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   & g* ^1 h: l2 {( c
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   4 {1 M! |' y* n" D  `
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   ! h+ w. L9 @4 `7 ?
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
! `8 ~/ F" O5 Y6 j) \3 i5 c1 Z* P) W
: O5 j  U) t( M1 Y+ D2 B

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   0 h1 R% E6 t9 P$ O
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   5 P) Y: J* O: b3 E: c
8.     return;
   ; F9 j  _% H& s$ {, ~# U" Y8 }
9. }
   ; E+ r! |& E/ ?
10. 
    5 v, f, Y0 |, I1 b; e  y/ V. _
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    6 x3 M9 l# `- f% h/ D( p" g2 E
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    / W, f6 T! Y4 r- M: G+ Y- A( Y
15. 
    & B' K  f9 r3 M+ i! a! C8 I6 A
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    5 Q% ?% N6 N7 F: K( K/ i/ m: f0 |% s
19. 
    3 n6 ~5 ~+ F% R0 q& h% V, r! ]
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    / V. m, I. ^2 m1 C' P/ u
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    % }5 u! B  p4 W6 ?$ v
26.     return;
    " n5 @5 @) t/ F! T4 a# i( b3 _
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    " M) u5 r/ g( [
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    ! f; ?2 z% j0 J# d, |8 R
33. }
    4 A1 l0 X/ Z) `
34. 
    5 X& U- K$ a$ J/ d) j# J
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    - X: Q' e; Z, g! ?, G9 r
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    6 p1 @# o: s5 O' e2 `' w
39.     char* rst = new char[nLength];
    
40.    
    : P" s4 y& R# g6 C( A1 `( w! K1 Q. [
41.     memset(buf,0,4);
    3 W  @  [! p9 d" G
42.     memset(rst,0,nLength);
    ( y- p/ ^3 t. W
43.    
    
44.     int i = 0;
    ' l7 k1 @, l- M, H6 [: h
45.     int j = 0;      
    : E# M( }( k' `8 i
46.     while(i < pLen)
    2 o# n  F0 t3 T, d' U# u
47.     {
    # T- J1 h6 U6 _, R
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    . n$ k0 m, g3 i) c$ i# G: d
51.                     rst[j++] = pText[i++];
    ! i; D6 k. Y$ p- `, n
52.             }
    
53.             else
    ! j5 K! w1 t; ?2 `
54.             {
    - V) q' r1 J* U: h( k" [
55.                     wchar_t pbuffer;
    # ^* z0 |% z5 {% w6 a0 H
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    ! A% K! _* D, X1 e) L
58.                     UnicodeToUTF_8(buf,&pbuffer);
    6 I; e: e: \; C/ j
59.                     
    
60.                     unsigned short int tmp = 0;
    2 t* W" U) ?( ?( a# q
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    ) ~" R' y0 g) l2 P1 l7 I
65.                     j += 3;
    7 G; i4 a0 y% {, t
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    7 Y& i! i1 q$ J" P
71.     //返回结果
    
72.     pOut = rst;            
    
73.     delete []rst;   
    : @4 g4 v7 N& t9 X* ~  ^
74.    
    2 b+ k1 K8 a6 @: `$ l: \8 T
75.     return;
    3 _7 v! ?* s) H6 [' a/ n) j- b
76. }
    % B6 f( d/ l" C  ~
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    & ]7 e5 ^) `6 g$ V
80.     char * newBuf = new char[pLen];
    " [8 c3 A  J7 C3 |9 _3 w$ C
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
    ! V! j  L/ C2 W; Q8 u
84.     int i =0;
    6 g0 a- z. {& n( ]6 @
85.     int j = 0;
    
86.    
    6 N) k8 D8 p/ b' l3 [; w( H* L) \
87.     while(i < pLen)
    . h) I1 G: c4 U. \0 E
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    ! ^3 ~" P( ^. I
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    2 a; Q4 _' `( G4 I1 K
99.             
    ' u$ C7 s4 [+ k
100.                 newBuf[j] = Ctemp[0];
     1 Z9 t! n# T1 t: V' k
101.                 newBuf[j + 1] = Ctemp[1];
     ; q) R6 D# i5 t+ O. t
102. 
     
103.                 i += 3;   
     * ]; C% d1 L' y0 E. C
104.                 j += 2;   
     
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     9 W3 X9 t, S4 o$ V3 s' O; _+ [
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     9 e. R7 g: P/ G+ u0 I
111.    
     
112.     return;
     ' S. F/ S9 R  R$ W! {
113. }  

复制代码