字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
, j& z: p  S! `6 i" U
UTF-8:   3字节一个字符
' r1 ^  u4 K- q7 D1 nUNICODE: 2字节一个字符
! t5 ~9 \- e4 ]( I. YGB2312:  1字节一个字符

# W# p/ i' M- V5 e% X& h" ]+ p例子：
( u3 Y% E) W0 Z4 N+ b6 b
“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
6 ?( f$ X- T) r- i2 M1 ^“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
, o; \; n* u  [+ y) z8 p把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
* F$ J, H' q5 D4 l' l, J$ o  f) M注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
# a/ c, x. r" v8 ]经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

' p. y* o8 I6 Z/ w7 Z3 X3 ~! u; w/ m类定义

1. class CChineseCode
   
2. {
   / A# r! X6 `* `5 L. q! y
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   ! G0 G4 M' B2 b- n- X7 L3 u  v
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   1 c* ?' w3 ?$ O- P) P
3.     char* uchar = (char *)pOut;
   1 T7 [( S7 z8 P. z# C0 R9 H! ^
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   & y) i- b: e% Y
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   + J4 u( ]) P* Y  E) i
7. 
   
8.     return;
   ( T" t$ e9 Y9 U
9. }
   % h% K( `0 o" t# x7 W4 L
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    % ^1 @. _8 @7 L* k" H
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    ) }1 A) p0 g4 h& \$ N* L
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    4 i% t7 u) q' s
20.     return;
    
21. }
    
22. 
    " h0 `) D. R; h3 D2 m  q
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    $ T( q7 v! o! [# }) [
24. {
    3 \) V6 {$ n1 J: b2 P6 n* Q3 e+ [, |
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    0 e& n* E) L& `8 J
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    " |6 |" k8 g* s& b+ \
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    ) Q1 A# ~! h6 C$ {9 `
33. }
    4 h0 N/ h) d- S0 ^: X( l
34. 
    2 W( T1 T+ V' [
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    4 t* `( C: _/ |7 @$ q
38.     int nLength = pLen* 3;
    2 v8 d/ _2 f. P7 @" Q5 g* \( o
39.     char* rst = new char[nLength];
    
40.    
    , [3 v: Y4 j8 k6 e" E- [
41.     memset(buf,0,4);
    4 [7 O7 c" g, G5 d( d; s; k
42.     memset(rst,0,nLength);
    
43.    
    8 y. @% A0 i! v/ A: `) v
44.     int i = 0;
    4 }8 B% @( H/ C5 d4 y
45.     int j = 0;      
    
46.     while(i < pLen)
    3 n2 ^% }2 U; j* s3 `6 a
47.     {
    ) Z* K% a& @. I" T' M* p5 E" [
48.             //如果是英文直接复制就可以
    / M3 O) w/ a5 K7 Z6 l/ G
49.             if( *(pText + i) >= 0)
    
50.             {
    
51.                     rst[j++] = pText[i++];
    & C; W8 Y) \( N0 C2 E6 ?/ ]7 f
52.             }
    
53.             else
    , o8 X7 W6 L# _. D
54.             {
    
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    3 `" J1 \  p- u
58.                     UnicodeToUTF_8(buf,&pbuffer);
    " G2 z% T" y5 ~9 ~
59.                     
    
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    0 z3 L5 H6 Q; Y- b2 c7 v( k
62.                     tmp = rst[j+1] = buf[1];
    % L+ R8 A0 Q0 V! M8 s* r
63.                     tmp = rst[j+2] = buf[2];   
      Y' V1 ?& z! S1 W. M
64.                     
    $ A# d# {3 L7 b" t6 C9 d
65.                     j += 3;
    * O1 _# a) j% x
66.                     i += 2;
    / L+ W! p* b& l# g" r1 G, x/ ~$ k
67.             }
    : A& }2 ^, p7 N2 w% U1 j3 c
68.     }
    
69.     rst[j] = '\0';
    
70. 
    4 U) O6 K( l0 R3 ?
71.     //返回结果
    
72.     pOut = rst;            
      k* w) f4 E, S2 V
73.     delete []rst;   
    1 q4 N9 q8 `; L8 Z9 L/ o
74.    
    3 [0 j! H. `: n/ L6 x6 @
75.     return;
    
76. }
    ! ~3 K: G% l& I$ m& t
77. 
    5 t3 x! S& \* R/ }9 \1 h4 l9 \  u
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    ( w0 S9 o! j3 Y5 F
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    . X: k! C, Q# f( T
82.     memset(Ctemp,0,4);
    
83. 
    / h- E& G7 P' x
84.     int i =0;
    
85.     int j = 0;
    
86.    
    ) a* h8 N" `% r4 r  D) G: W' i$ m
87.     while(i < pLen)
    
88.     {
    
89.         if(pText[i] > 0)
    : [4 W; |$ ^4 T' A% i+ X& a8 Y
90.         {
    3 r, p1 ]; q/ |4 Y' g
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    " `+ [; J2 g1 Z; g+ l
93.         else                 
    / C5 z& H( d/ F+ {- C: t) {
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    - `* u+ v! L! p+ x& y, x& Z$ s
97.         
    : p; y  r2 I6 H7 ]5 _1 N- F: c
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    3 o) w/ P( n/ D$ x5 d) X9 @5 N
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     0 L2 |8 P% u" T! C* Z$ k+ I  d, F
102. 
     
103.                 i += 3;   
     , y7 }7 u" p* Q: G" E3 n! Z6 J, N
104.                 j += 2;   
     
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     ! t, g4 L# A9 O# p
111.    
     
112.     return;
     
113. }  

复制代码