字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
: H! n7 z$ q& w) m' ZGB2312:  1字节一个字符

) }/ e3 t) a1 m3 K例子：

' c- m+ _0 e  {2 i3 e“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
0 A( r( r* T, U; P2 W% B“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
7 S$ r& u2 A+ z按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
, C; ^- Y3 x- _3 W) A. K+ |7 `把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
/ n3 j) `8 r6 x" Q& @9 f; Z' h* M注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
+ |+ _' t2 |2 q0 D1 [0 ]: v$ u+ t2 [经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
# }% f  p# {# E2 B6 T; A
5 [. T" u% o( T' H/ y' Q类定义
0 ?) z8 ~" J% B1 h

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   : R: }& H) a+ Y+ I3 C- C' h
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   ( S) @2 o, r, H3 \: H5 o
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   + i2 b! |: z; |
10. };

复制代码

类实现
3 V" @* T% d9 x/ D: K
- Y! S( z8 @3 D! a' A; H

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   1 q1 a# B: ?/ `+ W
2. {
   , _( f% Y4 a* a, Z4 _3 s+ F% a
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   # E& v7 y' {( ~2 I6 t: k: R
7. 
   
8.     return;
   
9. }
   ; h2 M$ ]9 V' W0 _+ R; q# L" S
10. 
    2 D0 S8 `  z: o* b
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    1 v& \+ [/ }- ~) [/ O: z
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    / @  }3 ^2 V2 P" q/ }1 W5 S
14.     char* pchar = (char *)pText;
    ' G! L7 J* U# a/ S7 }9 i
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    0 }+ k: A6 G5 b
21. }
    ' D% ~: J1 B3 T" ]7 [+ ^
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    . q# `# V6 b0 ^0 }' Q3 ~
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    - [4 g- ~) l: r
26.     return;
    
27. }     
    1 p. d. |/ y$ n
28. 
    . s7 o$ c" D9 ^% j8 W( r  f# m
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    4 \% x$ a6 c" v1 ^5 v
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    6 T4 o( l. @7 l( F3 Y
33. }
    % |0 c6 r3 x# U/ d0 l2 b' Q
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    # M+ W! }% L! S2 b! T: S
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    2 j3 t* c3 Z. `9 s  ~. ~" {
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    6 X6 h5 H/ L/ i" z9 i# I
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    5 X/ {& a% d/ d; E/ [' [3 D' t
45.     int j = 0;      
    : q0 P$ |" m0 `* y; q3 c. X
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    8 g& a/ N" e) n- j/ S5 G4 r, g
51.                     rst[j++] = pText[i++];
    
52.             }
    8 i+ e. i0 _9 s; v3 o/ ]% s
53.             else
    $ x# ~5 O3 u) d/ `( @
54.             {
    : M. U+ @3 S: R  s5 h
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    5 I- ^" ?% R: e
58.                     UnicodeToUTF_8(buf,&pbuffer);
    1 M  o( V; h, B4 {: Y
59.                     
    ' p& |2 s$ X5 K1 o
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    4 ~# O5 r3 O$ u1 B1 H* q) Q
64.                     
    
65.                     j += 3;
    / l5 }1 H% K0 d
66.                     i += 2;
    4 P/ z( K& P9 z% Z3 e) k% d( A
67.             }
    + X5 q! q" }! P4 ]8 v
68.     }
    
69.     rst[j] = '\0';
    " R+ ?) Q. C, y+ n) b( f) R* \
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    
73.     delete []rst;   
    ' g+ G  \% Q: [
74.    
    
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    2 @. ]/ @- d9 E$ {1 v' ~; i. U" }& [
79. {
    - [( J* ]$ Z/ _" X% k: Y
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    ! P7 i0 F( J2 m% e! h& g% V% y
83. 
    ; B, e) Y, n( B  ~
84.     int i =0;
    
85.     int j = 0;
    1 X2 H8 v4 B, [% y- n% Z+ ?+ k( I+ O
86.    
    ) _, }  L0 m* w! N! \% w2 f
87.     while(i < pLen)
    
88.     {
    7 q9 m9 v% S- I6 W, l3 I! w$ G5 x1 p
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    - l9 I( C2 V* D' k: y0 O8 Y- U- L, x9 D
95.                 WCHAR Wtemp;
    + B* M" U3 Q1 [3 F% P
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    4 d8 S* L3 Y1 y3 ]+ b0 c- f
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    1 |' h9 G9 Y1 v5 U
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     0 j! s& V; |+ I5 z" y
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     $ ~: i' T4 q! I" P
112.     return;
     
113. }  

复制代码