字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
1 O$ `( X, n3 g! O
UTF-8:   3字节一个字符
1 C/ v9 R" `4 z  T' w1 yUNICODE: 2字节一个字符
$ G6 T* T; ^: o4 e2 }0 L% VGB2312:  1字节一个字符

例子：
" s7 ~* r( q  a; g! J
“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
+ K- v" B- ~. {! X/ m“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
7 I  Y2 E/ @, d+ \: Z, ?按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
6 M+ Q8 g3 ~2 m# d把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
0 V: K: S; l, `# R. Z1 I注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
' d$ k7 p  f6 n" i4 N经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
9 ^1 |( d0 W( I' B/ O# O' K+ n
类定义
$ k" l2 d' G% r8 {$ |8 P- N& q

1. class CChineseCode
   6 ?# l. U5 J/ D3 N- t, A
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   7 p. K  O: E; Q* ~+ T) P
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

6 ~- k6 J" R. a0 o% I

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   
9. }
   
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    ! n( z$ H' l  [( I8 ?) @) W3 [
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    6 {5 Q9 k; t: K4 D: S
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    ; u6 j( R5 I1 h) F( u
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
      e& y0 \- u, ^7 x, w8 P0 f# `* c
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    " B1 z( v; C7 {, _- T
19. 
    , z. Q) A  ~- q# z+ v7 w, m: m+ u
20.     return;
    " ^, ]0 U$ R- P
21. }
    1 p) y) s4 \* I/ D
22. 
    0 J# k; j3 t6 n* E+ E! x
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    4 O/ _; c9 A2 }- K, g5 J" }
24. {
    3 G  P+ `# q" R& O
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    # V0 h) O& U% I+ ~* i
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    . r" N! z3 v- p
30. {
    6 o" A) S: {& J) v& e; H4 U
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    3 i; \. [7 G* Y2 c1 N
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    . S, {2 Q, `/ t
36. {
    ( V. }9 Q' W, P) b" F/ L0 J
37.     char buf[4];
    ) L7 e" H& o9 w3 Q" b7 t' y
38.     int nLength = pLen* 3;
    - T) f1 Q/ r5 c) k: {+ E! y- r4 l
39.     char* rst = new char[nLength];
    
40.    
    . o! B5 n$ J8 ?2 E( E$ |9 W5 d* D
41.     memset(buf,0,4);
    / E+ R" N/ g9 Q9 i- s
42.     memset(rst,0,nLength);
    
43.    
    + ?) f5 Y" D# o4 M" ~/ I
44.     int i = 0;
    
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    4 ^" {4 j3 _$ ]' e) t+ s
49.             if( *(pText + i) >= 0)
    ' h, I  p% `/ }( l; O' X! W
50.             {
    ( G& k/ {( U1 y0 |6 R
51.                     rst[j++] = pText[i++];
    : v2 b: E# r' `  n( v/ ^' O" m9 ]( G
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    * p! q: y2 ^3 i- o( V
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    + y4 f- }& K8 V2 j
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    0 N" c& X8 e+ k: h- t7 Q/ o
59.                     
    
60.                     unsigned short int tmp = 0;
    & R6 k1 A2 h( h; E  G" z- a. Z
61.                     tmp = rst[j] = buf[0];
      _4 |+ ~; t" s) h5 O. h6 @
62.                     tmp = rst[j+1] = buf[1];
    3 U4 Q3 p' V- u2 t+ [/ e0 @; G/ h6 w
63.                     tmp = rst[j+2] = buf[2];   
    6 h1 J; l9 Y0 Q+ t1 e/ O
64.                     
    
65.                     j += 3;
    9 [! h6 N8 k7 O; E5 z: v. U
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    & S5 W; g7 n: T  k0 |' d- g
70. 
    
71.     //返回结果
    ; [; V/ r$ C* |! G3 S
72.     pOut = rst;            
    - T) m. R( N+ o" @: X/ j
73.     delete []rst;   
    8 L- P& q4 G2 N0 h0 j! M* u
74.    
    ( t+ y# l2 _# U7 N  O- h
75.     return;
    
76. }
    
77. 
    : d5 m+ Z# F% S
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
      P1 M4 A* H- }4 F/ ?( a3 X* Z& F
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    $ x( v5 M! C; ?" @4 _% ]* w# _
83. 
    
84.     int i =0;
    
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    ! P/ U$ g% Q6 Q0 ^: `
88.     {
    & e: V8 A4 f0 Z4 U* u/ K/ }! |
89.         if(pText[i] > 0)
    
90.         {
    " q- b' v  {4 C" b0 u* P
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    % I8 z6 }; n$ E6 o' @
93.         else                 
    
94.         {
    - U/ e3 l0 [1 x# h( j/ P
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    4 M! ?: a( o* o* T$ |% g/ Q
97.         
    8 d/ x& J* A# ^# R1 U
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    * j5 A9 x1 _1 N  u! V$ y& `
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     ) v& A. [' `, \
102. 
     
103.                 i += 3;   
     ) s+ ]. v. A/ P; c# P$ @
104.                 j += 2;   
     
105.         }
     7 L4 J; e+ e2 r; Z/ p5 a
106.     }
     " ~8 ^% x# J/ q* H4 [
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     ; D1 H, E. D3 ~4 Y! @! x
110.     delete []newBuf;
     " l6 R" {$ m5 R/ x! D
111.    
     
112.     return;
     
113. }  

复制代码