字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
) t. \# E; q( k, n: O" c
6 ?' r7 e7 w1 C6 c5 n) ~UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
" P" m7 h9 a7 B$ lGB2312:  1字节一个字符

- j1 j+ b  v4 k; _5 ?例子：

/ a6 n  w* t/ `5 N1 x“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
5 F. E4 r' p% n* |; ?) m4 U注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义

1. class CChineseCode
   " o3 n- d, Q3 m6 b9 S0 {* y7 f, R* p9 i
2. {
   
3.    public:
   3 d2 v: h  W6 u, w0 K6 q
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   ( {6 q2 [* `# D5 j. u. p
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
     W) u+ ~$ m% i! e- C
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   + L  t) X$ B. l0 F, B, @7 k
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
5 D, ?# m; V5 u) K7 j1 N9 [6 X* K

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   % X) y3 r& [6 K
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   6 }4 t" m. A1 V  j9 n
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   # i' x2 V3 q4 R, g2 b
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   5 T2 g' f+ _9 M5 X) E* w; l
8.     return;
   
9. }
   
10. 
    & p9 P" `8 @6 v$ o, n, Z5 z4 N
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    $ N* K. F+ R( `; Y
14.     char* pchar = (char *)pText;
      I" D& q" b) Z0 x* u: r% P- P7 \# H
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    9 n; T- s% P/ s0 M7 g- J* @+ N
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    & Z4 z  n6 l% t8 F  D5 v  P
19. 
    
20.     return;
    1 S5 Y# F# A7 L/ ]9 p# \$ v* i
21. }
    " @- v- ]# i% \" N6 Q
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    9 K9 ]4 ^- t1 K: x
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    # n% a+ c$ b  U8 Y9 k6 m8 F  j2 Z
27. }     
    
28. 
    ! C: X$ i8 t  E- c% b, D3 }
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    
34. 
    : m$ ^7 ]! g: @( |# t
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
      T2 s1 k6 C% e' s) C; _9 D5 K
36. {
    
37.     char buf[4];
    9 t& t, f+ `+ N9 i
38.     int nLength = pLen* 3;
    ! t3 v  R5 B/ [5 X3 }' @
39.     char* rst = new char[nLength];
    ) l" C" \3 Q4 j& C: C" @; M# D! Z, x# x
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    & S) i& e2 C5 r8 c
43.    
    
44.     int i = 0;
    + \6 R. r/ C! a1 s( L( y
45.     int j = 0;      
    , Q* @0 H1 l9 D; K* u6 @$ z
46.     while(i < pLen)
    
47.     {
    : {3 G- i. _1 [1 G
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    
50.             {
    : k6 {& L5 a9 f9 {) M8 `  N9 I, A
51.                     rst[j++] = pText[i++];
    , T' g  O5 e- {$ X" U* ]9 @
52.             }
    # k; Q9 O, Y  J& B
53.             else
    
54.             {
    ( }: {9 D/ e6 [3 w
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    ) s$ |# I; h& m
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    : I6 u; a7 t$ [; M9 M% m0 N
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    ) J  g: a, ~# F, P6 ^
65.                     j += 3;
    
66.                     i += 2;
    
67.             }
    4 x& u. ^, K. q. u) p& @
68.     }
    1 H; a8 S+ F1 [1 U8 w' m
69.     rst[j] = '\0';
    
70. 
    / l& Y2 `+ G( p& g
71.     //返回结果
      w9 O, f( ?! T& g
72.     pOut = rst;            
    + K* e, }5 B$ S2 @3 i* C
73.     delete []rst;   
    
74.    
    - k6 m) K  \% B+ ?8 Y. r
75.     return;
    ( z0 i8 s! e& A, D7 y
76. }
    # i0 v3 ~- E, |, V2 b6 {/ _
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    , p# \, ]' t8 }: g" u% D; V
79. {
    
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    2 J! n' j7 Q) s. S
83. 
    ; r  p8 U8 G/ B* ]' ?
84.     int i =0;
    5 {% J  n( H  n5 j' _
85.     int j = 0;
    ! Q& b' i$ [" n
86.    
    " j( ~& d  _; ]  g
87.     while(i < pLen)
      k5 F' V* U  D8 ~' N
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    5 W, v# u: {, Y7 G$ a" V4 {, ?
91.                 newBuf[j++] = pText[i++];                       
    & C2 f1 ?4 V, `- J
92.         }
    ! t* q  H7 S- ^. S4 z# a( D0 C0 [
93.         else                 
    
94.         {
    6 g" l+ g  X  B' }
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    & T0 Y- o6 T  E# ]9 o
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    " u6 x8 z7 l; ~1 y9 H
100.                 newBuf[j] = Ctemp[0];
     , h. r" s5 S3 i' d
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     - J" T' J7 G0 y. |% Z
103.                 i += 3;   
     
104.                 j += 2;   
       }9 L+ f: o. C) e- w
105.         }
     
106.     }
     9 t9 y1 A; J) r" A
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     : v/ v4 Q  _& N& Q) p
110.     delete []newBuf;
     ! t2 S5 w  {$ O# l# F( Y) @
111.    
     
112.     return;
     7 {: ]1 X' e8 `- c7 Q  t* }
113. }  

复制代码