字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
& o7 b* w9 x; Y( {  t! uUNICODE: 2字节一个字符
) H! i6 l6 T& x( {3 q% U# l' wGB2312:  1字节一个字符
1 ]0 V; d  e' e; W( k
例子：

, }3 ]' N$ k2 S7 e4 D  Z/ y“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
) S' B; ]+ {% z+ v( I" S$ `“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
4 d0 A$ P- z& Y3 ]把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
: k1 b; c) U6 j) Y9 J1 R# p
类定义

1. class CChineseCode
   9 a, J6 x- h9 z; I" c+ ~
2. {
   : v8 p, F1 r8 B& z, n, n
3.    public:
   / d. Z8 s. w7 \  C" {, d, n3 w
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   3 N) p1 j8 C7 U6 w7 n( y
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   0 A; |7 x: x  U' }+ {5 _8 |
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
     D, ^5 q7 V& `3 X; p& R/ S
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   ( Z+ H) S: |: C+ H, d7 {6 n
10. };

复制代码

类实现
! ]( l4 P' K, R$ J
9 U) ^# s! w4 F' h/ C& |

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   7 @& Y: m0 h" @6 U6 W
2. {
   
3.     char* uchar = (char *)pOut;
   & ]  w- L1 k+ z
4. 
   ! S- q* H4 N! B
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   
9. }
   8 {6 I5 \4 Y2 T! Y8 t7 t
10. 
    0 l) V; {! S( q" |& y; x" G
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    7 d( B3 E" z- R) k2 c, \' P8 d
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    ! L; M( b9 J5 d6 p
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    1 H, @4 [8 E* Z
20.     return;
    9 c9 [# Z9 u; ?0 j" A/ D% C5 H  C" e
21. }
    3 X/ v% N& N6 M: K
22. 
    & X* W9 A6 \) |1 i
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
      a2 v$ z, v: A" _: M$ Z  O1 i
26.     return;
    
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    8 @! G9 t5 d  E" g: a
32.     return ;
    
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    , x- ?! N4 X1 z# \5 _
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    * E9 _7 H# f" j! _0 V! N$ z
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    
43.    
    / F7 S  P% D8 c8 e
44.     int i = 0;
    
45.     int j = 0;      
    ( J! ^* J% S% d' ]6 N7 z! s" {7 m
46.     while(i < pLen)
    1 y' r* ]) x* |; d1 |
47.     {
    , f' }, w  @4 J/ v; A
48.             //如果是英文直接复制就可以
    ' @6 w/ t/ ^! [# L
49.             if( *(pText + i) >= 0)
    # {3 o& z: v# j+ @0 P6 l! ]
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    , H, Y1 u6 \5 B  A& B2 ?
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    ) \# f2 W6 X) M, C4 F4 p0 k' t- O
58.                     UnicodeToUTF_8(buf,&pbuffer);
    % F/ K3 {, i( o" A% B
59.                     
    , ^2 |1 ^& h" m1 U* e7 |
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    , U# g) B8 c( i" t, Q
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    
65.                     j += 3;
    8 G; n" c; q! \5 k
66.                     i += 2;
    * w& S" x) t# i$ ]0 L* S5 G* |
67.             }
    9 }5 N" @- m0 L. W1 y- X
68.     }
    
69.     rst[j] = '\0';
    
70. 
    0 o8 u- w# U; r
71.     //返回结果
    # g3 `& B: ^, k
72.     pOut = rst;            
    , g1 p: h+ G" c2 |
73.     delete []rst;   
    ) B' d3 {$ {& F8 U+ X. w
74.    
    $ }, f# X6 I3 j8 j- m
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    - ~1 V) @. V9 E2 M. {, d
79. {
    # v/ p4 c8 C2 [# b% Y! Y# Y/ P& @
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    6 g: B' u4 ^% r4 l1 `; f
83. 
    
84.     int i =0;
    0 @% _' y: _5 r" j- |
85.     int j = 0;
    
86.    
    3 r) }6 N( Q  u
87.     while(i < pLen)
    
88.     {
    1 V- I' Y; _5 C9 Y/ j& w
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    # y6 u8 s/ H; S8 F
92.         }
    
93.         else                 
    
94.         {
    % Y' a* B+ `- U) U
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    4 x* g. m5 Q# V: G1 @: B6 [' t4 K
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     ) ~( U+ \& ]' X, x' ~3 Q' z- t/ g
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     8 ~  M4 g/ `: B' v; y
103.                 i += 3;   
     
104.                 j += 2;   
     ) ?3 P4 m! X5 R
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     3 l& F3 l( A$ _  i' M& s8 w
109.     pOut = newBuf;
     
110.     delete []newBuf;
     & B0 z+ ]9 R% j2 M  n$ V: A: R
111.    
     
112.     return;
     
113. }  

复制代码