字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
0 B, K- r* G& S" m, Z( G  w5 G) t
UTF-8:   3字节一个字符
# ^& j5 ^  h! F" r3 e; RUNICODE: 2字节一个字符
GB2312:  1字节一个字符
  D2 M+ a8 t8 n. s  l1 B
例子：

6 c0 Y' P0 _6 \6 C! n8 f“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
1 i0 v6 e  a$ R" {; U/ x把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
; J  b: P# y. @6 l6 x) }7 D
类定义

1. class CChineseCode
   
2. {
   5 C9 j* M' ?7 i! F
3.    public:
   ) j$ b9 F9 A2 j( `
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   ' ^9 L) v2 v  s) s! O
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   5 A5 |5 o4 K# G) L
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
% y! m  _$ ?5 {5 r6 w- v( Q

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   + z3 L0 H: X$ h2 k  u: M
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   . P5 K% s! q. |8 M
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   7 ^! v! ]) ~) H1 J0 l; R
8.     return;
   
9. }
   
10. 
    9 a! M. j( c! g6 g
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    ! Z  R2 b4 \1 G' x# J' Y% @. N
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    - V! J2 M9 W5 H% i( {6 I3 |) ]
15. 
    1 @: _( Z, ^4 B0 g1 o, H5 a) j
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    # b/ k. g4 d. T( V0 T$ ]8 t
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    
21. }
    6 @4 \/ T& Z! q( ]! Z3 C
22. 
    1 Z) Y2 B/ C/ V' o( i. N/ r, m, \; W! U
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    6 N/ R0 q9 W3 I2 ~2 D8 J6 ^' o
27. }     
    1 i6 {- I& o: d! p
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
      \1 f  ?: o; v( B$ T4 v! B4 a
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    4 W" t9 F( P2 V+ \% v$ A4 }
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    , ?% G$ K  t5 o* w
36. {
    
37.     char buf[4];
    / m1 t9 c. d7 V+ d$ ]
38.     int nLength = pLen* 3;
    # g* b& s" q& z$ k8 \
39.     char* rst = new char[nLength];
    ; ?" d9 k/ @3 ?9 C- `: p
40.    
    9 k0 P% C) P: \4 d4 H9 c2 k- S
41.     memset(buf,0,4);
    1 U3 i& a- U% F  M8 O9 d' Y
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    ( ^/ t- E* U" y7 u
45.     int j = 0;      
    3 [5 r" `6 H, G
46.     while(i < pLen)
    
47.     {
    % r: K4 I* ]) p3 J+ D6 d+ Z
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    / G, T$ Q' M- R- n& G/ z& A
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    / g) U5 V/ D3 p2 H
54.             {
    . P& K0 W4 ?4 h" @1 i
55.                     wchar_t pbuffer;
    0 _' P5 Z' {& v# o/ T1 E% \
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    4 q) N, r8 W2 [7 ?! n! K4 h3 P: Y; V1 V
57.                     
    7 X6 k' _# o# q
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    ) |0 Q, W5 ]0 d5 L% k: }% v
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    - N& V' W. @1 A5 E1 J8 [
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    7 e' u& g# O" j  b" B4 L( S
65.                     j += 3;
    
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    , Q; T6 u; l, ?- i
72.     pOut = rst;            
    
73.     delete []rst;   
    0 `' q$ E/ ]% u+ y- @
74.    
    ' N8 o9 [6 @' T
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    % f" ~# ~' ^0 b# u9 H7 @
79. {
    
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
      w' Y# P" @" j: h, B, r& s
84.     int i =0;
    * p, V; H& v7 }: O& ?
85.     int j = 0;
    
86.    
    . h; L9 z4 Z4 e) h0 _: r
87.     while(i < pLen)
    - d/ L; h* o( ^6 v; p1 i! r# _
88.     {
    
89.         if(pText[i] > 0)
    : [% Z3 u, B5 Z
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    & f. [  d. E/ E" x: X+ M
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    6 T; J3 U- ?  M/ Y, |
99.             
    % g$ n5 u" l9 S8 H$ C
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     " W' [+ N" {3 V- n' `( ~1 r
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     3 r* r7 w; |' i$ [( b) ^
110.     delete []newBuf;
     . _! ]! Z! F2 \
111.    
     & F2 ?' r' R1 l& N$ R0 P% |0 [
112.     return;
     $ I5 _* q" k5 z6 o8 y  u  w
113. }  

复制代码