字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
' O0 ^9 e9 f5 M$ ~( S! q( G
UTF-8:   3字节一个字符
4 P& q9 [6 V$ N( A# g; lUNICODE: 2字节一个字符
GB2312:  1字节一个字符
6 z6 E) O( W- ~: W- X
& c  l% T" r6 N+ R$ e: s2 R( O7 u例子：

* O" P' @9 W9 h+ I“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
; j% E1 d$ F' B6 a5 }+ k8 R# }按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
8 t- Q& D% k, }3 V0 t# ]6 x4 A* d* s7 ?* I

1. class CChineseCode
   $ ^2 |$ b& H$ x; k5 W: z+ z
2. {
   ) e' n6 Z- F! e% H& o3 S! G" C
3.    public:
   % u5 p/ c" v+ G6 H8 O' o, ^# B
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   # @. |" d7 {+ F3 z. ]
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   * i9 h3 @  \3 X/ P) [" s
2. {
   7 n4 V& |$ V) a" H2 l3 H
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   - j; {# y" N# L; D
7. 
   + V4 b' e: O9 l/ l  W# O3 k* b
8.     return;
   9 V. H  ~: p6 a% Y( h0 U
9. }
   % T# @) k$ N) b& H4 q2 U
10. 
    " u0 P3 G- z; G# l7 H
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    ' Y3 B( d) l2 f" U, H" R$ L
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    / g! r, D/ i" J6 v" `
15. 
    + t; A7 A1 L3 z* g1 }5 Z& H. ^  \
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    - U5 m' z* ^- s, Q9 P( O
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    
21. }
    
22. 
    + z, @: N) Y9 ]0 v) [6 S
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    - E" o; g+ ?% q& j8 J" W
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    * P8 a2 e' T% o& R# ^. n+ Z9 f) {
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    , {; a6 o& d  c* J% `% d
33. }
    
34. 
    2 ~2 b5 c3 h- u% L
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    , _# k2 i; w* ~" t) q8 T
39.     char* rst = new char[nLength];
    # v" Z& ~' N! `
40.    
    
41.     memset(buf,0,4);
    ; b0 \2 R% e% _) y% i4 Q" v1 ~
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    
45.     int j = 0;      
    / z6 h) F/ [- U) s8 a) x
46.     while(i < pLen)
    
47.     {
    : q# `* H+ D8 @& E, B$ ^7 g
48.             //如果是英文直接复制就可以
    9 z( P1 G; H! u/ s7 V
49.             if( *(pText + i) >= 0)
    ! G2 Y% G) X" F
50.             {
    4 F: o9 X# p6 @% |
51.                     rst[j++] = pText[i++];
    : Q2 t! O8 z' Y' A
52.             }
    3 c6 B; ?4 t, F" X, ^
53.             else
    
54.             {
    . f+ V! _+ K- W
55.                     wchar_t pbuffer;
    ! J9 c  C% K  |/ p. a
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    ! j& a' D1 _; U# w! _" l* y$ }# G
58.                     UnicodeToUTF_8(buf,&pbuffer);
    2 j# s: B# f) {/ D0 Z% A
59.                     
    9 p3 u# V* |+ m3 _% p! V; {
60.                     unsigned short int tmp = 0;
    6 ]6 Y2 q4 B6 R
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    
65.                     j += 3;
    
66.                     i += 2;
    / S" k& `6 L8 v( p( C- i
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    / k. n  `$ \& n/ w
72.     pOut = rst;            
    0 a- L0 G8 _4 B
73.     delete []rst;   
    
74.    
    ) R1 A/ c$ j; q, K$ Y" d
75.     return;
    : L# G! u$ v* `1 ?. B, H
76. }
    * W. z: e; h8 f  E5 V+ h& O( g) ~" b
77. 
    , ?* x- ~6 t% ^+ X6 S( J" f2 K0 P
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    ' }; P; ?/ N' o, G7 d
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    1 ]% l7 n9 i: N9 m! _
85.     int j = 0;
    
86.    
    & b/ W: ]  R9 V) |! g
87.     while(i < pLen)
    , s" v9 ?0 \0 j4 m& f4 B, Z
88.     {
    . D5 {; t4 T$ b! W6 q
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    1 ~# }8 h0 ]) [. U
93.         else                 
    
94.         {
    6 I  J# R  p1 i9 Z  T0 N( L4 S
95.                 WCHAR Wtemp;
    , t2 Z2 B  ?2 M
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    0 x$ H0 N5 s) T+ O+ k" V0 M
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     # o  v. Y8 M) u
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     ! |4 w  w% b0 r! r+ m+ L0 i
110.     delete []newBuf;
     5 @* {: e$ P8 W( y. B, o1 |
111.    
     
112.     return;
     0 X2 a" M6 q8 e4 r: a, R( Y* x8 b
113. }  

复制代码