字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符

: V& v: c% G) b& L8 X例子：
1 _9 n! B; p* q, C# H
2 p' N% P1 Z* j- U: O“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
5 X: ^) I$ r- `“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
, \& {3 }' F  b1 \, e( l7 Q注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
/ u& J  W; z- ^8 T经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
7 ]% H$ U: R- T3 t9 H' G
类定义

1. class CChineseCode
   : O* }' c, Q& `
2. {
     g5 l8 R& w6 q+ p9 a
3.    public:
   : O: p  d) f0 k" U" h* O
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   3 P+ }, M: L  Z# l
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   ( }" V' z! t) r) Z7 {: |
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   ! z. x  {5 O6 p% u' _1 o
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   , P( U* G$ `. ?6 N4 L
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   3 V2 _4 {' f0 M$ b! G/ ^1 m
10. };

复制代码

类实现

+ ?% k$ ~% B' O  J5 ~( p

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   # m. C9 Q$ ?+ T# t' y* U( C) i0 ~
2. {
   ' M' x/ E+ N8 _8 ^
3.     char* uchar = (char *)pOut;
     }! {. {- K/ K6 L. D
4. 
   6 c0 |, V1 S3 i9 J1 K( e+ _
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   4 o4 x# D0 q) D3 y% _' o% v% g
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   . M; L. X  j) h7 M
9. }
   
10. 
    6 }  u% s0 `8 t  \
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    6 {0 ]/ V& m0 G3 Q! _8 {
14.     char* pchar = (char *)pText;
    8 g5 B5 U9 ^( U% x0 C6 Y1 h5 p* c! F
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    - z$ N1 u9 j# N
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    9 v( h  M$ _0 n1 {% y" B
19. 
    
20.     return;
    1 C7 ?1 z" ?$ @( I4 G- T
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    & G9 s" e8 G# @. |* \, l
24. {
    ) f* O0 a4 G& C! m4 P* n4 `0 p
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    . F' t! J- i- q" L' a1 `
26.     return;
    - `$ w# Y# \6 G
27. }     
    
28. 
    ( Z" Z% }/ h: f9 `$ _8 _6 v/ \
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    
34. 
    7 p. p6 o- @) l# D; W
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    # e$ Y- e4 ?8 X. Z9 }) t& @9 q2 C1 y
39.     char* rst = new char[nLength];
    
40.    
    5 l; n6 [5 i7 f3 N, I  [
41.     memset(buf,0,4);
    : u9 T! k5 j. M; r$ {, r
42.     memset(rst,0,nLength);
    
43.    
    * i. A$ }+ d* n+ ^6 P
44.     int i = 0;
    ) l  }- X! X& S! z
45.     int j = 0;      
    9 ^+ a% G- T% G% b2 U& `
46.     while(i < pLen)
    
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    ' H9 T; {# `; _
50.             {
    
51.                     rst[j++] = pText[i++];
    # Z; D7 j8 T" V( ~: P7 [% J; j
52.             }
    
53.             else
    & E1 g4 F9 K+ u  l  ?  Z
54.             {
      p  k8 I& I6 I) R8 p! K0 o
55.                     wchar_t pbuffer;
    # u1 K8 I& |5 c, T
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    * V- t( K# L; l- }' G, a
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    " }0 ~5 X, G  X' P2 ?( f
60.                     unsigned short int tmp = 0;
    ' S5 F2 d) P0 s
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    # b& T  b6 Y6 t+ f3 f. n9 A
64.                     
    % b9 G7 S7 N: g- f1 L# V: X2 a7 G
65.                     j += 3;
    : i5 y/ s0 L# D% ~4 X
66.                     i += 2;
    
67.             }
    , w8 X  P9 i% B% p  G; O9 o
68.     }
    4 A% h& I6 @3 z% {' e' ]% s
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    3 W* j1 I2 @' w
72.     pOut = rst;            
    
73.     delete []rst;   
    
74.    
    
75.     return;
    
76. }
    ! H$ e* x) _1 i' {5 b1 N( ^0 _
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    , ?3 _& p; K- v2 o3 p: I- C
79. {
    & k" g- V! F" y3 Z0 n" g
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    & I& w. _/ v* U; y( @& f. W
82.     memset(Ctemp,0,4);
    
83. 
    " ]7 E6 ~$ u! \1 }  E) ?
84.     int i =0;
    8 j4 s) F  _# R" K& A
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    
88.     {
    % P! H- b/ w  g- @" K
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    . J* x) s+ x/ ^) Q- ]
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    7 Q1 _  i) ?' e( k- c- o
97.         
    # m% C2 K4 w8 c. R* O( O' {
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     1 {! ?" x/ q, G* z
102. 
     9 a& r6 j: t" l0 U9 ^
103.                 i += 3;   
     ! Q0 V8 g8 J: }: Y  J
104.                 j += 2;   
     
105.         }
     ) \0 w% J3 I# H& w& S7 _
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     " D3 p# O/ S% Z" X& \5 W' ]# o6 a
109.     pOut = newBuf;
     % @0 v) G3 q1 _1 b9 P
110.     delete []newBuf;
     
111.    
       m) i+ U; S* {# U4 {, p
112.     return;
     
113. }  

复制代码