字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
# e( I/ b9 h' ~( A2 B3 gUNICODE: 2字节一个字符
& X, N: n& s, F* K4 F& gGB2312:  1字节一个字符
% {1 v4 Y4 f6 i8 u6 T
例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
1 X' ^8 ^1 \$ e( M9 p6 D“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
0 Y9 m7 w( j. y. H4 D8 y# k按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
4 ^) v' I; o2 ~经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
" {4 n3 c# b$ l' G4 t

1. class CChineseCode
   ! x2 b7 Y, }' _
2. {
   
3.    public:
   # ~2 r+ h( h) _7 G+ k" Z8 N
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   3 G9 U8 C. [! ?0 @
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   - g# p9 V- ]; S
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   & ]/ U. ?# J- C3 y
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   1 q& [) W1 A' S' {
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   7 u4 [2 W& [; U% v$ B7 w
2. {
   ! T2 E/ i& l% c2 l/ S# K6 _" r
3.     char* uchar = (char *)pOut;
   
4. 
   6 {( _5 G9 j, t7 U3 ^0 v
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   $ g& D8 l5 b- ~% ]/ w
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   - j3 l$ {) L* s1 s
7. 
   
8.     return;
   0 w" W! y. ~. y0 |# S7 O
9. }
   " g% p3 U& k; f) F+ B
10. 
    ' ?4 J3 _0 X# u
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    ; J0 h, ^0 w) t6 p: f+ E( o- W0 b0 `
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    0 ~2 N" D: U! U  r
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    : ^0 p  r3 Q" M+ ]2 @0 h' f
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    # U  _( \& l+ Z. A
20.     return;
    6 g* h. Z) t: Y( W3 d) \
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    ! B6 ~6 L- Z- r& G" b; Z
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    ! U" t- h+ q- F) r9 D0 `
26.     return;
    
27. }     
    - u0 [( z- H: G: i/ p! }
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    6 i. W& F  E; ~- w' O/ J
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    3 o3 b7 t  }  V3 ?; U4 X$ R
32.     return ;
    
33. }
    , y8 q$ E, B  F, |
34. 
    4 V( q( w* c( H- W, X' R4 V- }
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    ; q5 t  b: D, C1 c# R
36. {
    ! o6 w' W6 e" h: @0 s+ ?, x) V
37.     char buf[4];
    4 m/ N- D0 d: [& ?/ Z6 s
38.     int nLength = pLen* 3;
    $ {, s- A* m3 a
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    $ q8 H# o' ]5 p5 E2 ]( e
42.     memset(rst,0,nLength);
    1 y" u1 Y3 }  Y3 m$ C% n2 d5 F
43.    
    
44.     int i = 0;
    
45.     int j = 0;      
      R( A0 z3 C" B9 e' m: r. T
46.     while(i < pLen)
    ! H. @, ^& f& |7 @3 H% c
47.     {
    
48.             //如果是英文直接复制就可以
    2 S  e0 \0 y5 L$ I2 A, C3 A; \
49.             if( *(pText + i) >= 0)
    * l! j6 B  l, k. V* F
50.             {
    0 P4 W% n. \- N6 B4 t
51.                     rst[j++] = pText[i++];
    1 F$ W) q1 Z7 [0 u; `
52.             }
    
53.             else
    - _( _9 F6 ?% ]4 ]2 Z" @2 r
54.             {
    , O. B" N4 o9 a) u8 H7 R
55.                     wchar_t pbuffer;
    * H. k9 i, `. V5 n2 @5 `& e
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    ; O" D: F& j+ o% y3 X3 d
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    7 ^! N, F( Y( \. `
59.                     
    
60.                     unsigned short int tmp = 0;
    8 i9 c9 o- I9 I$ d+ b+ T! @
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    ! @2 m" F9 L- x( \7 X
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    9 S5 j$ j" {0 y& o2 @9 W1 {% C6 t
65.                     j += 3;
    
66.                     i += 2;
    # V6 f% Q& |$ L- F% b5 T6 B4 p. {
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    2 C" j- E" A; x, g' |  ]
72.     pOut = rst;            
      W) z& b/ o( k0 f9 k/ c+ i5 k
73.     delete []rst;   
    
74.    
    - p( @; V, |) C5 w( V2 |. g
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    5 [8 b3 N) H) i3 |+ l5 _1 D
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    ; M+ i6 D$ @! J/ K- U" c+ t
83. 
    
84.     int i =0;
    
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    ' g5 t9 m- Q/ c
88.     {
    # q4 M7 H* b4 c, m0 o8 I
89.         if(pText[i] > 0)
    
90.         {
    ; C# y2 \" _% }" P! [
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    ( p* R3 v  D4 ?
95.                 WCHAR Wtemp;
    * m8 N9 d) n2 W$ q. ^& V
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    8 c. T" R. K, a1 V/ X5 Z1 B5 l; l* B
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    $ k! B# S: P% C( a) G9 D8 N
99.             
    
100.                 newBuf[j] = Ctemp[0];
     , N: m  J# R- N) M3 J4 E  Y
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     ; J& U( ~: X6 H0 R& _# ]8 N0 x2 ~
107.     newBuf[j] = '\0';
     
108.    
     & |3 F% Y- s: A
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     
113. }  

复制代码