字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
4 u$ \) M7 [+ _) g3 OGB2312:  1字节一个字符

' _# U) Y4 l5 n! K0 r2 |例子：
! N  o& z5 v1 L% ~
+ Z6 _3 L: ^) a5 I% \) c* |% X“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
2 [& T1 f$ i/ l* L“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
5 m; b3 L: w  @5 c) c7 [5 D+ e注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
5 G9 W2 {" m8 X/ X3 m经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
8 w: Z: G- W! D- K
类定义

1. class CChineseCode
   # `% P0 J8 ^* Z
2. {
   0 G/ ^- t6 ^6 ~: K6 C; X3 w
3.    public:
   ) M6 U" r1 \& D6 C; Y
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   , r8 U1 F' f: |" c
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   . o0 c& o1 Q9 ^+ {. z
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   % D" B! f( G/ W) S
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
0 _5 R: B* a; w# `, d  C! q
$ o: _( q; K0 H- U( Q) N$ N4 l

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   ! C1 u+ a  i2 ?. s( O
2. {
   ; l+ o# `) O8 v8 p8 v
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   ; C" N6 s1 t, d4 j/ ^
9. }
   
10. 
    9 Z+ E4 H4 J! `$ o! S
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    - Z) n- w8 U( U' B
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    2 o$ G+ i( \, i; b
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    6 x. I6 Z) |) m0 J* W6 Y
19. 
    
20.     return;
    $ _* j" ^% f" b4 I3 I! P0 ^" `$ R' ]3 ]
21. }
    # f3 J( O% q  l) J( J  {. C
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    4 P9 G% f/ M2 q* n! O
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    $ \2 A- c$ B1 A5 u
26.     return;
    - u0 p! F" T" P- n8 ]7 t. O
27. }     
      J0 `/ q+ ?, r. U% k. O% S  D
28. 
    9 `2 s+ ?* i! k4 r- o7 G
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    3 @5 C/ c) `/ I. J& e
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    4 V' x; f3 E8 V+ N/ D. T
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    * h/ |. i/ j$ e' H0 [! V5 J
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    % e3 Q- t- }6 O% u! j6 N8 E8 [4 ~9 n
43.    
    3 Q8 {, Y$ a' J' ]
44.     int i = 0;
    
45.     int j = 0;      
    
46.     while(i < pLen)
    7 e8 H2 @: R  I4 S. G3 T& i
47.     {
    1 b7 k. Y8 ]+ v
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    + L" Y2 `  J/ H/ m
51.                     rst[j++] = pText[i++];
    # D4 p$ L+ ~1 T  L
52.             }
    
53.             else
    
54.             {
    * w  r* @& y( b* S) i
55.                     wchar_t pbuffer;
    ( H3 x( L# J2 N* q1 ?* \5 e
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    ! ^9 u& ~7 l( h3 P. R
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    5 n5 \0 `1 k! \9 l$ [
60.                     unsigned short int tmp = 0;
      a  t1 d( q4 q% u
61.                     tmp = rst[j] = buf[0];
    3 o) B/ R# R5 G- U
62.                     tmp = rst[j+1] = buf[1];
    ! ~0 B) T/ G& ~# f  l
63.                     tmp = rst[j+2] = buf[2];   
    ! l8 F+ t* t8 r9 i* Q2 u* c% F/ q
64.                     
    
65.                     j += 3;
    * H+ h# g8 d3 v' a; F0 o
66.                     i += 2;
    ; q) E2 ]) V0 M; q
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    5 H' ~3 J) q3 H6 l5 z# v
70. 
    
71.     //返回结果
    ( N+ h& F. Y8 j, w+ ~9 ~; @
72.     pOut = rst;            
    
73.     delete []rst;   
    
74.    
    
75.     return;
    % O! Q. Z" ]% Z* q# B, w+ ^
76. }
    ' p& e2 q0 K" z/ x8 _+ D  {3 g5 K- a
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    6 V9 S" x$ J/ R$ i& W
79. {
    
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    , i0 K1 S# j/ S! B. Y
83. 
    0 z: A' _* v8 R/ F+ k
84.     int i =0;
    
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    3 Z  l( {* N. Y) }3 V. i
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
      K* Q* v( @0 K% l# t
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    - {9 @2 D2 I7 c2 \4 I
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
      h0 Y# i! Z/ y4 w
97.         
    5 }$ o  A0 r: q2 \1 U; T4 m  i
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     3 D% V; m2 h5 B, H: ^4 d3 m( s2 u
101.                 newBuf[j + 1] = Ctemp[1];
     7 O, M5 K( |1 N# g9 ]5 n, a
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     ; T- l7 E) ~: d' Z' a# D
105.         }
     5 h5 t) E* |) F: x. t
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     ( u( s6 u' X# @8 |- L+ s
111.    
     
112.     return;
     
113. }  

复制代码