字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符

6 Z8 R9 Y( P; d. `; A4 E例子：
* t( b/ m* P  b( z1 N9 p  ~2 c
2 k$ \' b: ^1 v$ x. f4 @% V* U“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
7 s! F2 K& ^' W$ c把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
5 l! J/ j* J# _注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
) S7 z; D. e5 J8 ?/ c) s
8 h* J9 h9 U$ z  P! y类定义
! r* m) @- k; j, J/ ^7 @

1. class CChineseCode
   
2. {
   
3.    public:
   7 I8 a: e8 ^( W# I
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   # u" O8 f$ I% ?& U
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   % J6 g8 i2 C+ l" z# Z3 v
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
, o5 ?$ K' E7 J& H: i' t3 r

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   / R; R+ h+ ^* \
2. {
   % ]. u6 }+ S: m2 ^* Z6 L! w
3.     char* uchar = (char *)pOut;
     e9 M# M" G1 h4 F8 K, w
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   2 C- G4 i$ i) G7 N, _2 G) J
7. 
   
8.     return;
   
9. }
   : O: v+ G% g3 u3 m
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    / t5 i# e3 X0 c8 U+ m" a
12. {
    1 z9 E  a( A; b0 T9 g" d
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    0 F6 x/ W9 ~6 Z
14.     char* pchar = (char *)pText;
    . z" b/ r7 P+ Y  m2 s/ }: h
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    8 v0 B4 r# ^6 W  R) }$ ]* K3 o
20.     return;
    ! u3 Y3 U: i+ l* m9 ?/ {
21. }
    4 R2 E* z0 {+ J
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    2 J% U$ Q/ p) g5 Y% a
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    ' r, m. O; r2 [  _( b3 X! m
26.     return;
    
27. }     
    
28. 
    - Y# j. j" q3 d0 @0 y0 @* g) ^
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    / K: X# j; Y/ Z3 k* p
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    % \# S! J+ A. [$ M& B0 M0 D6 p- ~/ b
33. }
    % Q- }5 v% m. z
34. 
    ' Q5 I- h. F8 m" W/ x: g8 Z# g
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    4 M9 f4 E+ f& U/ P' i3 |
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    # I; }/ n, I: i
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    + k( F2 x5 N8 p; R3 W
43.    
    / u1 r* [# ?' u5 _
44.     int i = 0;
    ) c+ Q8 ^; V/ c% e$ s
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    " g# d1 B' B! p; w( g
49.             if( *(pText + i) >= 0)
    . T4 Q1 O0 P. j. M% z' f
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    4 D0 H5 }! l, T9 `6 x3 ~2 ^' R; g6 E
58.                     UnicodeToUTF_8(buf,&pbuffer);
    ; W) l( v! l: J" ?1 ~2 `* j2 U
59.                     
    
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    4 R7 ?: {9 ?) ]% D: S2 \- ^6 ]5 q
63.                     tmp = rst[j+2] = buf[2];   
    ( I* I' s; @, Z0 Z1 b3 x
64.                     
    
65.                     j += 3;
    
66.                     i += 2;
    8 E5 J9 Z" X7 {0 k. m7 |# I
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    5 `! d0 ?7 m! \3 q
72.     pOut = rst;            
    0 o2 `% `* J/ A! Y
73.     delete []rst;   
    # z0 _- O! f; p* @
74.    
    
75.     return;
    
76. }
    8 h* m& h% t" @
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    0 ]4 k1 T) k2 B! j
79. {
    : G( a$ r/ B0 C% f$ o6 v
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    : h, a9 p0 n, _
85.     int j = 0;
    ! P1 |3 |' I! U. M! O. Z0 i
86.    
    / z# A& I4 x3 S3 X2 u
87.     while(i < pLen)
    
88.     {
    
89.         if(pText[i] > 0)
    ! K) W4 b# r9 L: n/ c# x
90.         {
      I5 f# I6 J' Y0 x/ V3 ?
91.                 newBuf[j++] = pText[i++];                       
    + a6 {6 A# X7 R! w) c7 l; ~) j/ O
92.         }
    
93.         else                 
    
94.         {
    3 }& h/ d" b5 `! i- y( Z
95.                 WCHAR Wtemp;
    " i4 k, h* K" n9 b! O
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    ) V% f  U" N8 \% L
97.         
    ! X, ^+ e7 M0 \! a9 w
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    $ ?% |- P( F. R0 g
99.             
    3 s. R# a0 ~" L! ^
100.                 newBuf[j] = Ctemp[0];
     ; G% O2 J7 w( a8 x5 D) [
101.                 newBuf[j + 1] = Ctemp[1];
     + E6 c2 B7 O, ~. I. G! J; s- ~
102. 
     5 T! y( Q( K' X: P. g8 b
103.                 i += 3;   
     
104.                 j += 2;   
     ( j5 k1 H& e) ~! j$ u/ o, f  Y
105.         }
     ( V' P+ d: H3 M, `
106.     }
     * h! c+ z( W$ n  B" S
107.     newBuf[j] = '\0';
     # A& n4 l4 }5 E1 n' E) A
108.    
       D2 v, _- |/ A; B) v) y0 @
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     
113. }  

复制代码