字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

3 N/ c1 r5 f  g) _. j) A. c$ n; O; jUTF-8:   3字节一个字符
& F) l; a5 d7 UUNICODE: 2字节一个字符
GB2312:  1字节一个字符
8 Q4 s3 @. K& Z$ i; Q
例子：
8 ?; W) P1 w" Y4 ?  a3 o/ O7 O
, }; ~! n5 ]+ f1 U8 F2 u“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
5 B/ x, r/ i, W. q. S+ L0 @& N1 Y6 P) M/ l注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
+ z+ L* n% |+ s经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
4 v$ ?! y# C% a: J6 d! k

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   3 H- l1 ^  e! Z3 V1 p
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   % Y& k+ Z8 Z- l$ C3 ~
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   6 z' k# K: I4 {# ]% B  u
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
# E; w4 U2 w$ e, M  k$ ]

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   7 s& ^- m  P: G8 ^
2. {
   % @- o/ w8 c2 |9 f% h
3.     char* uchar = (char *)pOut;
   5 g1 O: X' ~1 {* i% U% \# @+ l( G
4. 
   9 ^( P" p2 c  Z: _2 J
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   
9. }
   
10. 
    ) [( |4 Y$ f, K! d/ Y2 s1 m+ f
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    3 K9 l* q  o* g, @3 s( {$ b
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    $ M/ W4 [$ ^  E! c4 I/ Z' y
15. 
    # S5 T5 e) H+ p- t; F0 e, s
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    ( X, ]8 x9 B' e$ b* {2 f
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    5 m' o6 A, A) k- g; K8 Y
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    4 ?5 n# s8 ~- I
26.     return;
    + e4 a3 H" Z" u" {
27. }     
    3 s' G0 R: Y- B) s
28. 
    4 ]4 e& \4 p0 Y$ g5 _; N
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    - C( `: r/ N) m( B4 ]  y3 e
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    ' \! \$ I' }! t) T
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    2 D. A( D9 k$ q, B
38.     int nLength = pLen* 3;
    * X+ M0 d( D: g4 f0 c: [
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    # X4 n7 U, v8 u) b. M
43.    
    4 \$ n( p- ]. l5 E
44.     int i = 0;
    # w4 j. W, V* [8 @- P- G4 k
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    % ]# J0 [; W) V5 A$ R9 s- i
49.             if( *(pText + i) >= 0)
    
50.             {
    
51.                     rst[j++] = pText[i++];
    9 D+ p0 E0 O% k+ i" F( E. i
52.             }
    
53.             else
    ! N1 p4 C* i! f# \1 n- ]. w3 ~  e
54.             {
    + _& @% O' R- n' O0 [% w' }8 |1 ]
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    " _. X. m" z+ T2 o: s/ C! y
57.                     
    ! B! F$ V: n6 S) [
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    0 x# Y6 M- j; ?1 {
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    
65.                     j += 3;
    # q5 Q  ~% O9 L% A  I9 O
66.                     i += 2;
    $ q- i3 Q1 |% B8 g
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    , C8 L* U! o6 ?  A" g' A& e9 d( y
71.     //返回结果
    
72.     pOut = rst;            
    + X  f3 C; ~3 |; f' ~( B: z; I
73.     delete []rst;   
    $ H. u* E2 j& E* {
74.    
    
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    ' z0 l$ o; S8 m3 O' l; Y4 j
79. {
    
80.     char * newBuf = new char[pLen];
    + u3 j! t' ]7 n% i
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    ! J* D% J7 P) M0 r+ k
83. 
    ) i0 D& v5 G; @8 O' H
84.     int i =0;
    ( f. P* ]' o% a$ D' I. \
85.     int j = 0;
    
86.    
    * y8 g( {; D3 B$ X
87.     while(i < pLen)
    
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    * t( t1 F/ ?' D) D2 ?6 b2 {
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    : t# {  W" ]5 h0 N
94.         {
    
95.                 WCHAR Wtemp;
    0 f9 m! O  }% D. T% N4 o
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    4 A9 y) C* P. `2 \/ v
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    # d+ _7 S; @0 N- s' K
99.             
    
100.                 newBuf[j] = Ctemp[0];
     5 ]1 s+ T, A- J; W, m5 G
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     " |0 x$ P) Z; D1 {7 T7 g4 }/ o
104.                 j += 2;   
     
105.         }
     8 l& B& f; U: _* N: f
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     $ V, Q0 Y0 y. l9 o/ W4 t
109.     pOut = newBuf;
     ) O2 a$ s; r3 N) _! H% V6 J& z
110.     delete []newBuf;
     
111.    
     : i8 K* ^( l" N3 a9 j
112.     return;
     3 X& A  W+ f0 M; E$ T
113. }  

复制代码