字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
" ?+ c  j6 l+ u* k( }; Z! l
) V2 F3 [3 S9 CUTF-8:   3字节一个字符
; p  P" W3 B* e1 {6 fUNICODE: 2字节一个字符
GB2312:  1字节一个字符
7 E/ B# ~0 \6 h4 C$ T0 V9 q4 Z( y
, G, j) B( D6 k" h7 M" S- m+ \例子：

; r' C- N& e' x“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
* T7 r" G: a2 w7 E2 r+ w% L“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
# ^3 V  I2 I  H" w/ d把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
4 y9 e& I6 R4 k经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
     p* |; `( C& ~1 ^9 @
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   - M: D. {' o6 U5 [9 L2 w
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

( m& A3 ~+ T  g5 U' E

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   : k: P" @; j+ A- w" B7 b- ?
2. {
   
3.     char* uchar = (char *)pOut;
   2 g+ L8 C0 M, z) D" _
4. 
   * i. q+ U  H( w2 c7 t. l8 t$ R4 m( p
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   ! T. P. a/ |  E! J) L
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   2 u# t1 h6 z' z
7. 
   
8.     return;
   0 \1 D- N! I  T3 E* e
9. }
   ! _7 c. E& G$ H
10. 
    4 B2 A/ p  D7 x
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    0 @: P, Q2 b% p1 d/ t3 B
12. {
    # o4 X; M. M' ~# k6 r$ p! k; {: A6 M
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    6 N/ b3 w' p4 s) c% E0 M
14.     char* pchar = (char *)pText;
      f& p" `0 W7 S! p. N& R6 v
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    + m' _1 d  F: W- v2 v: R  K* S: }
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    ' n9 l9 k+ `3 h7 k/ L
20.     return;
    
21. }
    
22. 
    2 w- ?/ |3 C! ]8 e0 Y" l8 K
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    # `, H7 w, O! I6 M, ~5 Z
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    * M. T" x1 x0 B4 q( v+ Q
28. 
    & b* R9 d- B+ T$ R' B
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    - L' w% H$ g: E* Q
36. {
    - i+ X4 n- ?6 i/ B2 {+ A& u1 x3 s
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    & M& S5 ~/ E' R- [1 e% y# P
40.    
    
41.     memset(buf,0,4);
    5 p! w3 R6 ?  ]3 T0 l
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    ; g- `: Q. f7 q. y# V  M0 C
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    0 `2 y/ h; k' u6 K; D) R
49.             if( *(pText + i) >= 0)
    0 w5 Q# X2 s" j: X' X6 R$ I
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    4 y( y& Y8 H* T6 U2 L1 z9 q
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    6 p* t( e9 E9 r; j% Z2 B9 j+ V
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    & ^5 J# @- ]5 \. m6 P1 \( _1 E0 q
62.                     tmp = rst[j+1] = buf[1];
    + M2 ~( ^8 Z# U) P$ }
63.                     tmp = rst[j+2] = buf[2];   
    2 O0 ~( b9 k# x
64.                     
    , c  i! e3 J( }4 A
65.                     j += 3;
    
66.                     i += 2;
    / Q1 J# f% E& N9 g5 G/ Q" _
67.             }
    ) |5 f6 C# h7 O* P6 \
68.     }
    ' t8 c3 w( A, C$ \
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    ) J0 p; y3 D# W: V! Y* p
73.     delete []rst;   
    
74.    
    ) H# j4 K7 E4 }/ ^# w
75.     return;
    
76. }
    
77. 
    0 |; g0 S4 b; _4 ]1 Q
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    + B- d1 P+ y7 z9 L
79. {
    
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    * f2 N4 ?( W' d8 f  I3 l% p
83. 
    
84.     int i =0;
    * u. F& I) k, j( a! \
85.     int j = 0;
    0 }. ^$ i: h1 I
86.    
    / E8 m2 p' e, z6 F7 C+ e
87.     while(i < pLen)
    
88.     {
    ; s2 d$ a4 _6 i2 E1 o- a; n9 a* O
89.         if(pText[i] > 0)
    , }  V; O4 ?$ S( i0 n2 }" Z
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    ! P6 s5 O- A& d4 b
93.         else                 
    # W3 H; X: U  u1 e
94.         {
    5 V. ]& _, g$ P  \) i9 \$ z5 J. k6 I
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    " I: S2 z+ U0 N5 I/ w+ z
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     / Y3 Y' F+ @1 w9 [2 V
102. 
     5 e: z- l7 J. p& p% O# t# R: l
103.                 i += 3;   
     
104.                 j += 2;   
     ( R4 o$ A, S! y8 t: X. ~
105.         }
     9 I) w3 C: ~0 z4 R* I
106.     }
     + W8 j3 J' t. H! x3 f; B
107.     newBuf[j] = '\0';
     - Z# ]" b. ]/ r8 |5 c
108.    
     9 A6 m  Q7 T7 e
109.     pOut = newBuf;
       Y; @: T; D4 W; @
110.     delete []newBuf;
     3 c! Z+ F4 K* W" ^
111.    
     
112.     return;
     8 S: X, l! i2 Q) Q2 `
113. }  

复制代码