字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
: O2 |4 W" ]0 y  p7 [GB2312:  1字节一个字符

例子：
& k9 x+ B$ m5 u/ I/ w: Y: D
6 d+ j+ \. h" K7 |" o“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
7 o7 F+ Z* x. F% J" h) h1 ]注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
1 Z- R3 k7 x* R( q/ A1 H
( U. f  ?4 t0 A. A/ M( R( c1 J4 x类定义
! ?3 f) _9 B) y* n4 p/ k, l

1. class CChineseCode
   " y8 \4 x* x1 g! ]8 a
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   6 O& Q; c) A1 b0 S( x
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   8 H" U* i/ ~4 g5 s0 F+ B8 \# c
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   , @/ ^$ q" E0 O! ^6 J
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   & b: }- _" {$ x! |8 x# V
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   , q$ v. s0 y. }" X$ u
8.     return;
   7 U: K. E$ T! t% g
9. }
   ) H+ j  e' ?  X% I0 i  ^; Y: I
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    8 ]5 t+ E$ R; M- e
19. 
    $ A3 ^( p* n6 u& }$ _
20.     return;
    
21. }
      r, g: P1 X7 j( y1 w
22. 
    0 o; N" F3 {& k" [4 z7 u1 a
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    , Z. R. h2 M; C4 Z0 n1 d, x
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    ' z- ]- z9 `7 E7 d9 A9 b8 g
26.     return;
    5 |3 e9 A3 g' l
27. }     
    . k- k8 j1 ~) _1 b0 B% m0 ~
28. 
    * i. G1 _4 P+ G
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    $ L9 |0 a0 w: s$ o
33. }
    7 g# b7 x# R3 b  }
34. 
    & D+ }" C6 I: v6 ^( t) X
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    $ A2 b& d. y) C; [" x0 z
36. {
    1 A! ?$ t6 y% n' P+ j
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    * }& E$ x  U7 G; L) c, S* B6 @2 H$ q  H
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    3 r: p- X6 S( ]# ^+ \+ R8 \
45.     int j = 0;      
    
46.     while(i < pLen)
    1 A5 d! e  z& N3 |" `
47.     {
    
48.             //如果是英文直接复制就可以
    / Q9 H4 f3 v2 P) z1 ]# e. j
49.             if( *(pText + i) >= 0)
    2 c9 ?+ P# l# W* U- G: [3 Z9 N
50.             {
    
51.                     rst[j++] = pText[i++];
    2 O, R& _* H6 r3 H9 `: E6 {
52.             }
    ( @' ]6 |% ]4 o4 J) K
53.             else
    
54.             {
    4 ^' P3 I$ M8 B2 g6 |: Y- e
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    " I/ W, E7 e  @
57.                     
    7 g9 {  Q7 A6 P% A0 }$ w3 ^
58.                     UnicodeToUTF_8(buf,&pbuffer);
    % p/ x9 w" R/ ?% s& N8 U
59.                     
    3 e( }: b, U6 G& r6 W- F( Q
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    " Y3 ]; X) ~$ q+ [2 l% Q0 H9 A
64.                     
    + y, [6 S8 {# M% z& G- z3 g) X, N
65.                     j += 3;
    
66.                     i += 2;
    
67.             }
    & O: T! y  o! V! i  E2 ?
68.     }
    9 Q+ m8 N% g9 {' J% j7 p6 A
69.     rst[j] = '\0';
    . U  o: v2 E' n* A( t) o& j
70. 
    
71.     //返回结果
    / s. n- c: g4 M4 B; k. p
72.     pOut = rst;            
    
73.     delete []rst;   
    & J/ j8 {: o/ O+ J! \/ S3 `
74.    
    5 k3 h% i+ P) x; j- M0 e
75.     return;
    , p. C3 }! o( o$ r- N% E( f/ g
76. }
    , H% D1 g9 f& v- g
77. 
    ; V& Q0 q% x* S, f& ^! d
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    4 u  f, ~7 C% I' a" F+ y8 o
80.     char * newBuf = new char[pLen];
    # O" D" C+ K, d
81.     char Ctemp[4];
    8 P( P5 l* X: i( p6 T
82.     memset(Ctemp,0,4);
    ) ?; y  f  s( P# _* {1 ^
83. 
    
84.     int i =0;
    
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    # `1 j9 L  c2 C' I( k& U
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    # E, s0 m) A! N* k2 i6 _$ k6 \
92.         }
    
93.         else                 
    
94.         {
    + E( ~. p, ^; [) n# P2 S$ h
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    4 }; F: Y6 h; m7 ^" }
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     : N* S7 n; X0 N/ u" R
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     : m' a9 q5 ~; p3 e& |$ |0 C  P
110.     delete []newBuf;
     ' ?1 z: ]6 _: N1 c8 X+ ?. ^, q" z
111.    
     3 ^9 x* C  T. G$ c6 J- ?; G
112.     return;
     . N$ H1 O, w/ |5 o
113. }  

复制代码