字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
2 |7 j- {- T; j1 |, }& `; F3 r+ p
: M. g. n* m; F, u9 X8 v7 OUTF-8:   3字节一个字符
UNICODE: 2字节一个字符
$ z) b" t: H# N# ~( @) G; L' N2 gGB2312:  1字节一个字符

例子：
; g' ~$ i8 [+ A  ^0 I- I: c1 K. D) j
& M6 x' G' y; b0 G1 N“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
$ {0 i) O, k0 v) W+ O“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
* s; f- g, z; W注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
. g, U- g5 `9 H3 s: {7 y+ f9 Q1 K0 q经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
- V' W4 A- F- |0 `6 b
7 @& x0 }8 Y. R, ~+ P% ^: ]' t+ f类定义
" L& [! b% u2 @/ }- |

1. class CChineseCode
   
2. {
   ; M5 e# s, D8 B! b, @
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   # }( x, C0 N& M. G
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   2 W5 j1 P2 e! F. }( |
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   8 Z' j, p2 Z+ o+ J$ n/ f0 p
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
7 `2 J9 ^9 D: q5 x* ^

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   ( v* r$ A, s# Q$ V4 x, B/ e
4. 
   - {( n! _: ?5 ]  L; z
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   $ D8 T/ [, w+ [& S( r
7. 
   
8.     return;
   ! }4 S: ~. H6 Y! }- A8 M# f
9. }
   
10. 
    3 {  e: j# @5 p* m
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    : I* B1 G7 D0 Q0 F4 T! V3 ^
12. {
    ( p8 _; N$ P) q: ~& k
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    * g0 D0 W' n3 @' Y+ S
14.     char* pchar = (char *)pText;
    
15. 
    . z! j2 v! \+ l5 I
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    0 V4 p9 n: H* \$ e% Z
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    . _9 a0 G: f' r% ^* n8 Z6 R
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    3 k# k% }9 H7 n  b  i: g0 ^
20.     return;
    : L/ i# h8 R  U( \
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    . z5 b' L8 O8 q: c" U, d
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    $ W  h0 W/ T9 P; y& Z( M  c3 g
26.     return;
    ; r0 R4 |0 f& n9 b3 f+ P2 P9 l
27. }     
    & j$ X) O. f& G
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    . V0 r- k' u0 |
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    0 }. z# J9 B! k
33. }
    7 P) V# u8 K* r" t- ]
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    * U. P3 R1 M  J6 G* Y6 j
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    * |! j& \0 D- D9 ^' W, C
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    ( `& D( d( _' `  v6 E" D3 G
43.    
    
44.     int i = 0;
    . D/ O/ J, _3 {2 c" S9 [6 }( ?& h
45.     int j = 0;      
    5 U3 e. k6 Z' M! \
46.     while(i < pLen)
    
47.     {
    , `; m2 k/ K" l" T( p1 @
48.             //如果是英文直接复制就可以
    2 W3 C6 ~# a/ g2 ]' o" q$ \* A
49.             if( *(pText + i) >= 0)
    % U. I+ E* }7 F' {& T% ^# D
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
    6 E! U: s  S  p
53.             else
    5 B' i, v: L: K9 }! w1 p, o
54.             {
    4 e0 T8 C, N- i1 @- w
55.                     wchar_t pbuffer;
    : G( E# W" C+ f! N/ H! }% |
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    " O2 e+ g; d# w: }2 F' \
58.                     UnicodeToUTF_8(buf,&pbuffer);
    % O( f% w3 \& i& a
59.                     
    : x! U3 V, M, q# x
60.                     unsigned short int tmp = 0;
    1 [: O. D* i: K8 e+ e
61.                     tmp = rst[j] = buf[0];
    + \5 Y9 y$ l! _' B% j, z" d
62.                     tmp = rst[j+1] = buf[1];
    " x% O0 z7 T9 {/ a. c2 v" X$ S; e
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    & {4 J6 l# X6 r: B: K
65.                     j += 3;
    
66.                     i += 2;
    
67.             }
    : D* X  [: F& A+ ?' w( n& X( c
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    % d: y2 X* Z; t+ P! i
73.     delete []rst;   
    & P8 _7 X( a! ~: S6 @# c/ ^
74.    
    & @5 E! Y* ?, g& c' F% E7 h
75.     return;
    
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    " v3 K8 C( R2 t( B, _. `; L
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    + g  g3 V  M+ J
83. 
    
84.     int i =0;
    
85.     int j = 0;
    & B) e, X2 C( c+ U
86.    
    , n5 P" R3 O9 y9 ?, D
87.     while(i < pLen)
    $ n3 j2 W  C' A2 I, d
88.     {
    
89.         if(pText[i] > 0)
    " |) t9 F, T+ c9 c6 Y, B' |6 i% ~; k9 W1 h
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    0 A7 U$ U* A; i( V7 T
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    4 o' d1 O8 K; }$ q+ x' e. y( z
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    % O% @+ z, U. j
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     - V7 ]/ }0 c7 D) j1 D
102. 
       G7 g" L* E9 C2 l- X/ l9 I' a, m
103.                 i += 3;   
     
104.                 j += 2;   
     3 Q% T5 w; _8 v- m+ @
105.         }
     
106.     }
       p: t: |: x) G8 Z
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     0 l" L, G% L7 E( }' g0 L
110.     delete []newBuf;
     5 b6 n9 ~. ], N
111.    
     
112.     return;
     
113. }  

复制代码