字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

0 b7 d7 [. d/ M7 s" c3 V, SUTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符
' L" H) L7 ?# I5 {# R5 h
- H0 z7 R5 }) a) o0 ^. \3 A2 U例子：
  s# X4 P: f* ^2 ]; I: h- l
, @, j$ V. ]2 l6 g1 Y“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
, ~. g' ^9 [. u5 ]% W( z“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
% L# E6 U; b# y: f5 h: _: x按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
( E7 _7 z; G2 Z" U" |2 c& ?8 Q把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
5 ?# `# b! l- w5 M, @经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

( C) ?' Q' ^* C9 m; O6 g  ^& t! y% y类定义

1. class CChineseCode
   8 }  k' Q* x" D: b3 P& W6 u+ `
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   . T7 c3 m3 }4 \2 ~3 C
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   ' c( [2 v4 R6 L6 S
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   % l3 O( t0 o# `1 \
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   : J+ r+ M5 i7 [+ e0 |
10. };

复制代码

类实现
- ]! H8 P+ s- G, `0 d
1 w, Y; B! L/ u& }

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   * D* g. J5 G, I8 ~
2. {
   # R; g* G( ~! {7 ^7 B
3.     char* uchar = (char *)pOut;
   + D5 _; L! a( X4 F
4. 
   8 |: p/ F( x9 M6 [3 U2 }
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   " M: Z* |1 M2 C, `( J. t
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   $ o  W# [, z% l, V
7. 
   0 i) x6 }& t1 c; V3 [
8.     return;
   
9. }
   
10. 
    4 Q4 v9 u: r& ?: C! \  O
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    0 @  B. w" k0 b# y& j# c( E
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
      t/ I; [! s$ G4 ^- q
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    ( W7 D9 j1 N# @( O) o
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    . ^+ \( W7 ]9 c" h
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    1 r. y' @+ H0 V1 n; h
19. 
    
20.     return;
    
21. }
    
22. 
    6 l3 f; K+ \# i5 A' u4 a
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    ' n/ ^7 T/ |; ^, R1 k3 ?
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    " b" s- n1 D7 k% T$ N
26.     return;
    
27. }     
    : H( Y% l5 \0 t. K* B8 `9 G+ d
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    - b, l  a8 R( \; i* V9 h9 s
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    5 a6 |; n# d" L' ~& g4 `) Y
32.     return ;
    $ F! v% e2 t, R  x$ _
33. }
    
34. 
    & N6 O7 u# s7 l- _0 _( n
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    0 x% m9 X/ s9 h
36. {
    5 H# T$ _9 U) z) W) W
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    " F, c0 Y5 o1 _9 h* V7 S8 k
40.    
    8 Z; s2 ~: n! b9 z( K  @7 I) l
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    8 B) b; z6 @+ c9 i
43.    
    6 ?( O5 l* \8 L! `
44.     int i = 0;
    
45.     int j = 0;      
    : z/ L( S, |, x/ \; {) m" g# H
46.     while(i < pLen)
    - l* O/ j1 E/ c  S
47.     {
    
48.             //如果是英文直接复制就可以
    ) O8 d0 V& j! L
49.             if( *(pText + i) >= 0)
    7 O# _2 K& _4 }1 j- E
50.             {
    
51.                     rst[j++] = pText[i++];
    $ p/ a/ b2 O( [4 r2 R' C
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    6 l# |# w4 e5 z( M6 @+ u- g
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    4 l1 M+ m) d1 j& s
57.                     
    . I5 b* e* G3 j$ p% U! W
58.                     UnicodeToUTF_8(buf,&pbuffer);
    4 Z7 G. Y# a/ r. S; ^" s5 W
59.                     
    
60.                     unsigned short int tmp = 0;
      A; c* {( ^- E, [9 i8 a
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    ( E3 Q0 j; S7 K. U7 e/ J4 }" Y  ?
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    2 s( \% w$ E  X5 m* k
65.                     j += 3;
    ( U; _9 T! b  Y
66.                     i += 2;
    
67.             }
    ' y  n/ R% ?2 j$ q% U- E9 L
68.     }
    # f% @  q0 q6 G7 C$ s
69.     rst[j] = '\0';
    - h1 U) D: J- L$ G# I& m7 S, R
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    
73.     delete []rst;   
    
74.    
    
75.     return;
    # O' N! c$ j  N
76. }
    
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    ; T$ j6 s! t" o( F
81.     char Ctemp[4];
    : i3 J& L- ?. i2 O3 J& h* H
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    ; B* K& |+ s; p7 K
85.     int j = 0;
    6 I5 `- L8 U9 i: t! S) X  \5 v- I
86.    
    6 b7 Q' t7 V6 J( q4 p
87.     while(i < pLen)
    1 O; r$ b1 N7 l' _$ M! h* {
88.     {
    " _0 R% ^8 ]3 e8 y7 L* L4 O: v6 F
89.         if(pText[i] > 0)
      n3 E3 U# z1 E8 P$ j, `
90.         {
    8 ^) N" u9 C3 ^. X8 ^0 u9 j& M
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    / ], T- t2 r7 I0 P7 J; m3 Z! |, c
94.         {
    * e0 H* T: |$ {* Y' }
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    : s& K; \# }. f* m5 F. s
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    1 \& h6 N1 E' R) K. c4 W
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     ' r( V4 w# Y3 B7 q2 t, N; z) x
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     6 m  \# @2 Y( H$ M5 s
107.     newBuf[j] = '\0';
     , j% ]/ k0 e& O$ d
108.    
     
109.     pOut = newBuf;
     , D/ c- N& z5 l' ]
110.     delete []newBuf;
     
111.    
     
112.     return;
     6 ?$ q% n" L% E
113. }  

复制代码