字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
+ r% k, r# ]1 O- m& @% L; }+ c
' m8 G6 D( G! o( s# Y0 J1 f% l: i( YUTF-8:   3字节一个字符
& h# A$ h( [3 J- z# x. O: b4 IUNICODE: 2字节一个字符
GB2312:  1字节一个字符
3 y, ^/ w, x; ]' J1 z: f& }
例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
$ V) D( O: G5 }" \8 y9 f1 Q8 U3 y“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
6 j% E2 F% s& w把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
0 o1 D; u5 S! p3 C9 o注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
, k3 t" g# T& b0 t. M1 A" I经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义

1. class CChineseCode
   + f" }  q. V- h
2. {
   & F( f% S' Q% q9 U9 s
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   0 W) Y' l$ X. V7 L$ x% T
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   ' m; e8 v  U" n! L& s+ O& B3 I+ _* v
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   6 ~" ]! [2 I+ @/ O4 `; e0 ]
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   # t7 F0 u+ _0 l, W$ k
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   % i2 a3 O3 }) T( c% I5 P7 `5 k
10. };

复制代码

类实现

4 Z. @' F7 P7 ?$ [, y

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   % z4 z' a' Z2 r* n) [/ O; M7 B$ }
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   & O- D& J* J6 R5 m6 Y% P" l! y$ m
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   3 N$ s1 u- z! k/ J/ E; z
7. 
   : z0 U5 ^. B7 B4 _4 Y
8.     return;
   1 r6 U' O* }" n" Q9 j6 [; E0 y
9. }
   
10. 
    & Q: e: x2 o  ~9 r
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    5 n5 e7 R9 M2 R% N- m$ u
12. {
    $ _! `, G  f) J- W; V# L  l
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    $ H( w5 I$ b" E
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    % `4 A7 T+ J: H0 L7 j
19. 
    ) d1 g+ f2 ]) b/ ?& ^1 k8 L) Y2 Y
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    0 H+ g+ J0 b" x  D% {% d
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    ( ^  l0 `+ l& y7 c. l5 P
27. }     
    % r& \  W. R& s
28. 
    6 v9 O( m3 ]2 W# N+ f( k
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    0 h5 z0 e; Z$ Q8 ~8 u
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    " r& K, D! d9 [7 a! a0 ^3 y
32.     return ;
    
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    ( h. m" ~% m$ @# Z
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    1 I, H4 P6 K  ?9 J
41.     memset(buf,0,4);
    # Q- V8 q7 b! K6 o
42.     memset(rst,0,nLength);
    # ]; |6 }2 X/ M( U  [4 t
43.    
    
44.     int i = 0;
    8 D5 }$ ?8 R9 g" q
45.     int j = 0;      
    ) D2 U# t5 n. b0 k' D
46.     while(i < pLen)
    % _/ m7 V* Y& L1 ]& s) d  c% d  g
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    
51.                     rst[j++] = pText[i++];
    ' e7 D# H" l: U& a+ z7 A: P
52.             }
    
53.             else
    , T  n8 Y4 E5 {1 S. Q: o) Y3 g
54.             {
    
55.                     wchar_t pbuffer;
    6 g! K6 S3 @+ E& K+ B/ ?
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    9 X3 N, h9 k+ M2 A. `
58.                     UnicodeToUTF_8(buf,&pbuffer);
    , k( K, k5 ~1 R% n; g& C5 e) D; ^6 I
59.                     
    , X$ Z! r, b. T3 E' q8 I/ |7 O4 T7 b5 j  ^
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    3 f; |2 G1 r5 {( v& r( E
63.                     tmp = rst[j+2] = buf[2];   
    3 E% ~- W% k: O
64.                     
    
65.                     j += 3;
    / ^) A! t) k, \  Q0 h' C
66.                     i += 2;
    
67.             }
    
68.     }
      A+ V. i8 t$ F# b9 a5 l
69.     rst[j] = '\0';
    3 ?7 J; Q( P" _% j. K
70. 
    
71.     //返回结果
    , g) c2 E6 E1 u: l/ P7 l, @
72.     pOut = rst;            
    
73.     delete []rst;   
    
74.    
    
75.     return;
    + m. P  v; }; l6 O' o
76. }
    6 j: E8 X) M  |
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    7 C, `2 \8 a  a0 D+ X7 z
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
    % @- w, H. o# q
84.     int i =0;
    * _# {+ ^% p) _0 c$ F
85.     int j = 0;
    ; B% y! g5 S. [2 [; J
86.    
    ( `9 L  H" u& t. `& B1 @
87.     while(i < pLen)
    - i: B. Y7 ^/ Y# W* n
88.     {
    8 A/ b5 @  l. S
89.         if(pText[i] > 0)
    2 p! I- x5 H* ]# ~
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    9 B' J# x* z, Z8 c9 \3 \5 v% S
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    0 i+ l. c# w6 L) H* ^' M
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    ( H! l$ {$ e. S* m+ ~. V
99.             
    
100.                 newBuf[j] = Ctemp[0];
     3 X# Y& T- i9 T# b  e
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
       c# i' o9 Q; b, O
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     & d* C) a  d, v. o+ b7 @- g5 Z
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     . P! z/ A$ C: G1 E) r. V$ P) ]- b( }
110.     delete []newBuf;
     + g( b5 ^( ]8 _  V
111.    
     / }' q9 W( b5 M7 }* X  u. a* {
112.     return;
     / v8 B( X! @2 T
113. }  

复制代码