字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
$ Y/ S9 B  q% M+ `  o* m$ e
UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
/ ?5 l! K# h6 C2 }4 ?: h0 O+ lGB2312:  1字节一个字符
: P4 w0 }5 ]! e9 ?
例子：
/ B; z4 _$ ]0 l; y
“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
: F- D* c7 E5 J  g0 |经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
4 |( E$ q3 Y" S) e1 D$ H
+ l9 U3 X1 o5 H* \! _6 U, `# V& X类定义

1. class CChineseCode
   / a- ^& b! X* w' J
2. {
   6 k" P5 }/ e3 B0 J
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   8 m6 Q4 u. f( U5 O
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   & w4 j/ z& a- o$ H. S  G# v$ n
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   7 }0 Z8 `; h2 P5 Q
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

0 v' ?3 E! R1 k' H

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   3 n7 H3 o( G! N* {0 y. V
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   5 q' V/ }; V  Z% H' G
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   
9. }
   7 r) Z/ w% r) R: c  ]$ N
10. 
    ( l2 P6 _. {9 r' [
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    , ^: a3 ^8 l* G# k  K9 |
12. {
    ) [9 C/ P! f1 }  [
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    3 l: h& K4 P% o/ _# B' O: `
14.     char* pchar = (char *)pText;
    
15. 
    + K* l# ~& b. R6 K
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    " r7 Q  W; a" H! e
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    * [$ ]* b1 g: g0 u( O; @
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    4 V$ Y& c- B* j5 d  Y3 P
21. }
    : A# z/ i3 E  ]3 D
22. 
      r  P" x* q2 }& d' L4 z* P
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    3 U) o, p! X- _+ S0 L, G6 o
28. 
    * q0 a' `6 M  F5 f
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    ( g# |" }! S& V; I
34. 
    $ B. U/ b" R2 r5 Z) J3 M3 r2 J
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    0 ?5 a7 p. }; _1 g* u4 e$ L  y1 T$ ?
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    1 ]- }$ o* [& n
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    , A; W4 ^1 l3 I+ d$ V) l+ T0 D/ v
43.    
    
44.     int i = 0;
    * v, J' Z( a( D9 N
45.     int j = 0;      
    " j  z; R3 [  r' s) H! X
46.     while(i < pLen)
    
47.     {
    ( X, V6 o! Z$ e2 V2 O$ @
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    " b* m8 l8 k3 u% g+ n
50.             {
    + p5 }0 V& d; @# }, i/ [
51.                     rst[j++] = pText[i++];
    # _3 h, `, ?: b" m1 A
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    - `# [( b. G) O# O: f# I: o
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    % Z' @4 f) z! b0 ]4 p
59.                     
    / ^( r" @$ H/ ]
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    ) q5 K  k" M6 ]4 ^
64.                     
    
65.                     j += 3;
    
66.                     i += 2;
    ) ^: N+ ]3 O' Y8 a
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    6 s/ t+ L: J/ k$ v! j; j9 t
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    + ?+ x  J0 m, S8 r; I% l0 N
73.     delete []rst;   
    
74.    
    7 y. g5 x+ W4 u! o" Q% d, o" E3 U3 e
75.     return;
    
76. }
    
77. 
    : e" `5 D& |7 r; E0 h) e
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    8 k4 U* K. e8 x: Y3 u
81.     char Ctemp[4];
    $ N4 E4 E* m" O- E( T
82.     memset(Ctemp,0,4);
    
83. 
    . l& b5 R( K' U3 r& H
84.     int i =0;
    4 M& C- m+ `" h' i7 [8 Z
85.     int j = 0;
    4 `; j3 L- p' }" j
86.    
    : N/ Y* A4 m( L( Q& M
87.     while(i < pLen)
    - }$ {( ]2 ?& w' a: o  @& g+ A1 I
88.     {
    7 [+ Q$ X4 T! V. h
89.         if(pText[i] > 0)
    : Y. |8 v7 q0 e1 E8 I
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    3 C) e( a# _1 K$ J' v  t
92.         }
    
93.         else                 
    & w* L2 ~  `9 `8 ?
94.         {
    
95.                 WCHAR Wtemp;
    : R: L  B1 B) Y. a: p, g
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    / k0 H5 l: y6 y3 Q
97.         
    $ m+ _8 i* ?+ g2 I' ?2 x( ]  u7 g! e
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    9 h) o3 |$ W1 R8 ~% Z. u, `5 l6 U$ D
100.                 newBuf[j] = Ctemp[0];
     1 t. Y+ B$ d3 z; J8 K
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     & ~- T& L! i8 Y. e# i2 H
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     ) E0 V+ m5 e* f8 f7 e
111.    
     / J% O) O/ I) g- {: R
112.     return;
       k. [  u2 {2 ]
113. }  

复制代码