字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

  M4 i8 `+ j7 N# y( dUTF-8:   3字节一个字符
) `( x7 a0 J0 }) qUNICODE: 2字节一个字符
8 |# x6 A" n1 J# ~GB2312:  1字节一个字符
2 K. L8 N+ _% S; u2 S
例子：

“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
5 K% p% l* u& n  F) D1 r6 h把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
! k" j$ B. g( [+ ~5 r注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
) b5 |/ ^0 }1 c& d4 j: E- I' C
) z  A; j3 h+ }& V. j; w& Z/ u类定义

1. class CChineseCode
   
2. {
   - i3 m: T" A' E
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   3 Z% r, a+ m5 S/ V1 T
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   . H) Z$ D4 U7 ^0 g
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   ( f$ U7 V9 @' [1 y2 s9 \$ g
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   ) a- \7 E# h& i  c
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   # a* q1 a9 F% A5 y
10. };

复制代码

类实现
* V& W- f  F- U; F" C

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   $ s# i) a/ R9 k& X9 a/ S5 N7 t( o& J
2. {
   
3.     char* uchar = (char *)pOut;
   8 T1 u! n; t! P6 b
4. 
   & E! i" N7 f. W
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   9 z4 d7 o, j( l2 T) e
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   7 h8 {; \: F: j4 }# j# z
7. 
   
8.     return;
   6 C; c# u" W4 Y  I
9. }
   
10. 
      _; L" O8 F4 \4 }8 X, {
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    - c' w: C4 i* W) q  h+ k* c) z: F
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    9 j4 D2 v: T& O
14.     char* pchar = (char *)pText;
    9 v" f7 @& z7 h6 A' q
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    & j0 H3 f" B  t, ~* ^1 X
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    + G/ h0 f5 t% I& T
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    1 r$ U1 x% L. C! O: m0 P, {9 t
19. 
    
20.     return;
    , y* O- o2 ^, C  G- M
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
      G+ K1 |- {0 e2 a
26.     return;
    ! S" X0 x" d7 s+ q' y
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    . t1 p* Y: C6 x" ]
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    9 ?3 r% Q7 i3 B# w, B! O9 i7 ?
36. {
    
37.     char buf[4];
    8 k3 [# S; L1 J
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    1 k# U8 L: g: H, {- w# |+ Z) O
40.    
    
41.     memset(buf,0,4);
    1 e1 \% e6 ~3 {/ ?6 e9 R8 W
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    
45.     int j = 0;      
    9 F' y# i# }$ J& U9 ^1 B
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    , x8 Z: A5 d- E0 n& u
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    ; X6 |  V; Z$ S0 _
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    1 N4 M8 D0 G( v; X* ~
59.                     
    $ w5 ?) @9 R& l# F7 a, ~5 R/ P  U
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
      c, }" E$ C/ v* g
64.                     
    
65.                     j += 3;
    3 v; v6 P, ?! y. t
66.                     i += 2;
    6 X- I- J, K2 D% N1 P  f
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    ' p3 x5 Y& H  I5 |# O. ~4 _
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    
73.     delete []rst;   
    . s% p- v' Q6 }7 R! C
74.    
    
75.     return;
    3 x' p% [0 A# l, j  C7 ^$ S) p
76. }
    ( F% d, X0 `4 V5 Z9 p
77. 
    3 O! @, o2 b; T5 @6 V: M
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    5 ]# u- O! `0 K: {7 b/ Z
79. {
    6 N! V9 s9 ]- E7 \* ^
80.     char * newBuf = new char[pLen];
    8 s9 k. I& \- W; L7 w
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
    6 @" d- f2 J2 K7 ^5 M- F* x& h. L
84.     int i =0;
    
85.     int j = 0;
    : O3 S8 J* ?( h" l) J1 p6 m1 e
86.    
    
87.     while(i < pLen)
    
88.     {
    5 _9 w$ q+ B* n7 X: @/ a" t& N1 o
89.         if(pText[i] > 0)
    + W4 \. ?1 s# M
90.         {
    * I/ v/ _9 w" Q1 S7 G  o
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    ' u' y2 m6 A& I  W# E
93.         else                 
    
94.         {
    8 B/ e: ^: V: v+ q7 K& q
95.                 WCHAR Wtemp;
    # P( \2 A5 N/ c9 V- R  S# K! o0 M
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    & c: K+ S/ ^/ S3 t. H$ I
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     ( h3 d3 o( S9 C* ]
101.                 newBuf[j + 1] = Ctemp[1];
     8 W/ X* w) y# B- |
102. 
     2 B' W3 ]7 n2 C  i4 V7 f' |
103.                 i += 3;   
     ( J8 \- }1 n# v8 a2 l
104.                 j += 2;   
     + ^* ~1 A1 D$ V% {
105.         }
     6 Q; @% M/ r' s9 O; A3 ?; _
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     + t4 {5 p7 B" T) ]: A3 r7 Y
110.     delete []newBuf;
     / A3 ?# B, P  [
111.    
     " h9 }* v, s! z% n, V2 q5 {
112.     return;
     
113. }  

复制代码