字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
' t& G2 |2 P- c) D% p; lGB2312:  1字节一个字符

- y( V7 m4 ?* d* p% y. i" u$ Z- Y例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
5 e# U) i) D1 O0 o% X7 g按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
' n% B* `$ c: `  n' v( {
3 ~( z- x8 |/ f1 u4 j! y9 f! y7 k类定义

1. class CChineseCode
   1 _- I* S% S5 q/ {' ^7 O: n; C/ @- Q
2. {
   ( x" ?. ^7 T9 d7 l$ p, ]! s  p# K* K
3.    public:
   % L5 d5 t' c1 x- I4 V* J
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   7 ]+ N9 b4 t/ P9 P0 v
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   0 z3 c. w) J0 |7 \& H8 y; ]
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   ( u. ~- v% @" S1 }4 H6 O
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
+ p$ u) t5 x1 m- D, O9 x! Z1 t

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   % M. G' C3 X+ ^* H2 ~
2. {
   3 A# n4 J4 Y" ]1 x
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   ' b2 F+ T  F5 ?
8.     return;
   5 q6 C" h' m; C, L# d5 W3 F2 [
9. }
   & g4 G4 M- P! ?, T7 [* a
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    # R/ \  i" c6 D3 U! C5 s: }4 Y, p
12. {
    . u) K7 w4 L5 Q+ j
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    3 D) L% n) z. R: s
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    2 c8 X, G9 t* J
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    5 V9 ^- L  N8 O
19. 
    
20.     return;
    : l( b( N% d+ e1 _' w6 Y
21. }
    5 H4 q7 d. ]8 y5 b. ~3 z
22. 
    3 C% s3 J3 c4 s9 A& M$ O8 m( d
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    - T' ?( I0 T# W% o- d7 v* u: ]4 W7 I$ A
26.     return;
    + I2 I) R2 N: _5 L2 Y
27. }     
    
28. 
      s- `( Y: |7 _+ W( c
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    ' [% O! }9 G: o" t: c
30. {
    7 J$ h& `5 b: d& |/ g
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    8 X8 w  H2 B$ q7 A+ N+ h
32.     return ;
    2 j3 P6 D6 X$ M8 x
33. }
    1 n. R% H: o) I  E
34. 
    ) E% |4 |5 h+ E; u( F
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    ( d$ D! }( E) |3 Q/ f6 Z, i# F
36. {
    
37.     char buf[4];
    # @* g- b" s5 Q* o4 c/ m+ m
38.     int nLength = pLen* 3;
    0 |6 x% _# Y( ~. v+ g
39.     char* rst = new char[nLength];
    0 p) Q: n! Z3 |; z/ ~: q. X5 k/ g4 u. C
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    
45.     int j = 0;      
    # L: x4 R+ S3 p7 j
46.     while(i < pLen)
    $ m0 D  T' |3 x- _
47.     {
    : D8 y: ?2 [: s% ?
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    0 K" Q# d2 T1 H8 y
50.             {
    ( V# Z" Z2 M/ y2 a. \: C/ a5 I: E
51.                     rst[j++] = pText[i++];
    . Q1 f( V+ y5 }2 \! {6 e
52.             }
    + e6 L  T  d7 _$ ]3 r
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    5 P' M) M% x. l6 g( s
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    6 B# f' @1 z+ d+ N* Q& Q8 ?
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    6 N0 |$ M0 l* ^( l7 [% i8 v# j
59.                     
    & z6 p2 t3 B# R+ U0 Z9 n+ a0 `
60.                     unsigned short int tmp = 0;
    4 D- }& f* l9 T. `
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    5 e3 O$ m" }+ [
65.                     j += 3;
    1 i9 z4 _2 i+ h/ a
66.                     i += 2;
    7 c% E) i( k3 L  C, y
67.             }
    
68.     }
    " c- @3 c( F; |
69.     rst[j] = '\0';
    5 n: h* L  V1 n5 m! I
70. 
    
71.     //返回结果
    : A. y# W# B. F2 j' O
72.     pOut = rst;            
      ?3 V, q9 L1 q0 r. u$ X8 w4 e7 ~
73.     delete []rst;   
      W/ y( }, @6 T9 ^
74.    
    
75.     return;
    
76. }
    
77. 
    , ~& _7 M, y: B! y; k2 g: j  q
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    & D6 b5 F+ O8 a. N  y
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    . Y- Y: ?7 ^  w, R
82.     memset(Ctemp,0,4);
    
83. 
    3 F9 H. G& V! E; m( d2 U9 e0 l
84.     int i =0;
    ! ]6 {' @! T2 Q6 F0 g9 P& F$ ~5 A
85.     int j = 0;
    
86.    
    + x! ]1 k  R' I
87.     while(i < pLen)
    
88.     {
    * I3 V6 {* i- V
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    $ K& e" d7 d2 \5 r! S  ]) o4 Y
92.         }
    " l# ?$ Z& `, r0 b0 x0 I
93.         else                 
    " q9 Z" J0 m+ @4 t; T. o
94.         {
    
95.                 WCHAR Wtemp;
    * y  N7 q! t6 C
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    ! l$ c: A& B$ l2 h8 d
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    . d$ P) b7 j6 ~9 u/ X  o; X
99.             
    5 y. }. [- e! K" b, e
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     , V; U, \2 a" [. s
102. 
     3 L( r( B7 @2 G1 g
103.                 i += 3;   
     
104.                 j += 2;   
     & r# y5 T% O/ c" C) y# Y
105.         }
     
106.     }
     4 B% \" H# l% G3 w1 q& \; m# Q
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     - N# d! y- K& F% M2 Z* n, [( N7 w
110.     delete []newBuf;
     
111.    
     6 s+ Q5 d; q. E' l* Z/ u0 N
112.     return;
     7 M0 v: H, ?* q4 [( m
113. }  

复制代码