字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

& R2 ?+ c' r' C: k; @+ N7 rUTF-8:   3字节一个字符
7 v; q6 ]1 ?, w& `UNICODE: 2字节一个字符
2 P% c/ v, U$ Z# y4 |+ Z& VGB2312:  1字节一个字符
2 C6 r# a7 f- t# T
# B$ g' V" c7 ]% l. L. j" G例子：

: `" q* L2 v% }2 ~/ D1 o& [, N“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
5 I  o* p0 h) Q5 B# F% k把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
" F; q! d3 F' x; a" X经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
2 B7 a. a  B6 [; H" C( F
: g5 @# A! {, O. n$ C# Z) Z类定义
, e: r, U. {6 b+ I

1. class CChineseCode
   
2. {
   
3.    public:
   - D. P1 t: E. n3 @- S- R# i
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   / y# t4 Q! V( b
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   ( d4 s& T8 b: o$ p# j% G
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   ) Y# ^& R6 j# Q- [7 Q) x
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   , [! I/ D8 i1 \' L
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   $ y. V5 g$ A* R! _6 @. [
7. 
   5 f( B4 F- ^, Z2 K- |
8.     return;
   
9. }
   
10. 
    3 b) o- J$ w3 C1 N7 ~2 p$ E: O
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    ! v/ B& e* l$ N8 R; C8 U
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    % z% u1 p! @5 Y& I) p
15. 
    + q- c( p7 m1 x; K! Q' a
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    : C1 M4 n. U) D2 q! ~1 w7 U& g5 l0 J
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    8 \# v8 y! K6 \. y, `: t! J3 F
21. }
    
22. 
    * V; _$ H/ b  W+ h7 X+ R: ?
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    + C/ T; h: r, o$ C
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    : F% Q# W; I) u4 R  H
27. }     
    $ Y6 Q- C. |  ~9 R% g# \
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    8 n5 R% w; Y. v+ V$ s$ I2 `9 [
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    2 m' H6 J" Y" i# n4 n
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    0 ?# A! X/ j- P# Q
36. {
    0 R- K. }# I- \, X$ v3 ^
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    , D$ N& x( F$ E. E5 d9 H
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    6 y6 T  \8 X! B0 `  ^9 v* w
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    $ h7 d1 c) B5 d  X* i& {
51.                     rst[j++] = pText[i++];
    % a) S/ q; h& L; l* w  }
52.             }
    4 F6 d7 f- Z8 _" o! L
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    6 r1 l$ F/ N, b1 j
57.                     
    9 x  M  ^$ E. L& J3 b
58.                     UnicodeToUTF_8(buf,&pbuffer);
    ! Y( r9 J1 `: b0 J
59.                     
    % l8 ^) D- I6 T2 I0 x( |9 ^4 a
60.                     unsigned short int tmp = 0;
    ( y1 @& p7 l  N5 R( d+ t
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    ; j/ O  A3 Y$ E6 M. i: V! L9 ]5 F
64.                     
    
65.                     j += 3;
    & j' I* [# e. q0 A% B- _& `
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    " y! m2 T% ^& _3 v' N( o6 A: l3 d
70. 
      a$ \3 l% O* k2 [) C
71.     //返回结果
    8 B* R: O$ g. }$ Q  [
72.     pOut = rst;            
    
73.     delete []rst;   
    . M# d9 V% \; w
74.    
    
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    & f. E: P% y* E
79. {
    
80.     char * newBuf = new char[pLen];
    + H. w4 P3 e# d+ q, u$ E9 y
81.     char Ctemp[4];
    8 L& N- x) W8 E+ |0 }
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    
85.     int j = 0;
    - N, H, Q' C9 |; y3 h
86.    
    " G4 }" o" U, y0 k, n0 o
87.     while(i < pLen)
    
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    8 L9 C" E5 e  L6 p: F
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    5 m7 ]" `7 |5 w1 W0 S
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    $ }; I3 j$ m/ z; T
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     0 W% @7 b( t$ y3 k) X+ `) C2 H( U
102. 
     
103.                 i += 3;   
     # l" L. ~* a' u
104.                 j += 2;   
     
105.         }
     : v& h' ^$ }/ K# L; U# J
106.     }
     ( j4 z9 s7 K& o. R
107.     newBuf[j] = '\0';
     9 N9 F$ s4 Y0 V* g' N
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     & t7 N0 Z* ~! L7 D
111.    
     . i) U6 E' [; E3 b
112.     return;
     
113. }  

复制代码