字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
! m) t# C- H: @2 i4 f; ~/ }2 ^
UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
- r4 Z8 X( K% V+ F2 `" K, tGB2312:  1字节一个字符

. ~0 {3 u3 z$ |$ |' {例子：

# ~& N; ~; I8 ^3 ~“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
9 I0 k; s2 {* E- E' e/ M2 G, p6 q按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
, C' i$ n9 w6 Z注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
  I& h6 g% H; H; N7 _经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

5 w% m  G; x  X3 g+ @1 C/ F$ X类定义
. ?7 m' u8 z$ K* H2 |4 |% H; u

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   4 `% C9 Z% z4 |- _: S* z- V3 a
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   " A/ X: r) P6 R$ l! n
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
     f. r3 p+ P) A, m, e$ Q! P
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

% w0 C) z5 T; ]6 X

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   3 ]3 b9 g0 _0 r* i7 Q+ `! I: M
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   - O' p, ]& U3 f3 E2 X
9. }
   5 p+ s" P. s! U, {, q3 W6 X
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    $ [- M3 G" v5 S( x2 M7 V% N
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    # c" F  F3 W. d6 d7 ]  I6 d2 i
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    5 D* V6 ]9 u* k
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    ; M/ n2 Y6 J# Y) ?( x
19. 
    & z2 w: [/ f4 s: j3 @
20.     return;
    
21. }
    
22. 
    5 O& V1 Z6 H" g3 B# u
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    3 L) `' z# `9 Y& a, i* e
24. {
    - t% I, E- i9 }" I' W8 r7 \
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    1 i& b" [/ D) `( o' L" d# W
26.     return;
    
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    7 R7 D3 k5 ~3 C& F
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    9 H: h$ u' s2 R& \* A
32.     return ;
    # h8 c4 {/ c: h' n3 _) d
33. }
    ; p  ]4 P. |$ f; i5 y
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    2 U9 K# }4 K4 r$ i
36. {
    # {# F/ D' D9 ^" L( o) w
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    ! c0 [+ p9 x0 F8 j; J2 L
40.    
    4 k, U8 _* r! }6 v! M
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    
43.    
    8 ~5 o5 ~  o8 l+ K
44.     int i = 0;
    
45.     int j = 0;      
    ; L. K$ k6 R" l% R; N9 ]" s$ j
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
      I2 f# A7 A3 [2 A1 z
50.             {
      V% t% [) G2 t7 B2 o4 P
51.                     rst[j++] = pText[i++];
    * U$ @' H& G  _0 W0 F5 e. J
52.             }
    / {" I7 a9 \0 h2 c7 @* s, z, {
53.             else
    
54.             {
    ) \7 w5 E# e9 S* C
55.                     wchar_t pbuffer;
    6 G0 f; @$ p, X* v9 c6 K6 v7 ~
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    / V# p2 n  G5 A6 G- g2 E/ y9 T  w
57.                     
    / J" U" T) J$ i) X8 W- W: @
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    * A* K# u4 r: c# a; p& q& `
60.                     unsigned short int tmp = 0;
    # @0 t5 g/ R1 b4 D5 V
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    ) A6 x4 X1 b$ A
63.                     tmp = rst[j+2] = buf[2];   
    4 V) `4 _9 s; J
64.                     
    
65.                     j += 3;
    
66.                     i += 2;
    $ }& f# u2 q6 \. W
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    9 w" a$ s$ j4 a6 W+ t: b* A
71.     //返回结果
    
72.     pOut = rst;            
    1 {9 G5 P2 B# h
73.     delete []rst;   
    
74.    
    9 o" F, M% N. L) m5 d+ K
75.     return;
    4 F" T* r; @2 g1 ?3 P7 [- L
76. }
    ! `* x4 E0 ?- g. X6 R
77. 
    6 ^1 U8 C0 J8 ^, P
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    . `$ G1 v0 F. Y2 t4 ]9 A
80.     char * newBuf = new char[pLen];
    0 y% `: I0 W2 [
81.     char Ctemp[4];
    2 l0 `* a0 x. P- W: @1 }; C& O7 u
82.     memset(Ctemp,0,4);
    1 I2 e+ C2 v1 }+ q0 k
83. 
    5 R, F( \0 o5 q; W$ N' {$ k7 g8 T
84.     int i =0;
    
85.     int j = 0;
    - i% g  K0 ]& `
86.    
    
87.     while(i < pLen)
    
88.     {
      _$ y% m2 [' m& R5 j4 y0 Y- M- j
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
      f; d' x8 H  @$ [3 ~( _1 k0 Z! s* I
92.         }
    ) ~3 A3 D+ i8 p, S; O9 V5 ]
93.         else                 
    - a3 N! J- |" D4 M
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    6 H0 x1 F2 _/ X* s% k. _4 i/ z8 Y
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     . [8 i+ z1 _) V
102. 
     ; X2 d; F5 O0 N* E" h( _3 D: B
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     + J/ K7 C  j: H1 [5 L
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     , ?  Q, Y% y; a: C! ^: q
113. }  

复制代码