字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
& `( {' P. O' q5 Y( |, ]% ^
8 G8 v; W, U: D2 U) `" P! L/ A9 {& VUTF-8:   3字节一个字符
3 P5 y! ^' s  LUNICODE: 2字节一个字符
GB2312:  1字节一个字符

例子：
4 z$ M) G, c) F# s  o- a/ P8 V3 R
: M' G; T$ V9 @# ?+ b  n- d, [“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
% Y  \8 z0 [9 |6 Y把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
3 N, b$ z" u, p
  }# Z1 y1 T" `/ [类定义
1 s; d* O' s4 I: L. d( f

1. class CChineseCode
   ( P3 b9 l: l1 E6 D5 C$ D* P' C
2. {
   0 D6 ?) S, D& \4 I1 `
3.    public:
   . X$ m/ x: ~) g( r; L' J& O
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   0 H' l* A1 e9 K( v/ ]) g% E
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   5 U9 U1 e# S8 n2 y* M+ ]
10. };

复制代码

类实现
: {* l% A+ _: J. R7 T0 k0 [
# C  ?; A" d7 K; S7 o. |

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   3 }; V+ Z3 H1 h/ `2 R
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   6 x+ C: z+ v- G# b; i1 B
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   : t7 O; G! A0 j* d9 P) u
8.     return;
   
9. }
   % d* D# ~  o  M: @+ Y" X
10. 
    ; h' A* U2 h- i% z/ D- C
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    $ {% E( R1 U! f, b6 }' A9 B, t
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    3 @* @! _$ n' k0 F9 M7 z* y
14.     char* pchar = (char *)pText;
    8 X- O# [5 E+ M) s
15. 
    , x4 W/ `, t" O: h# a9 E2 ?; G
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    5 r6 _2 R6 C5 ^) k
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    8 V6 H# ?) H7 C% V
19. 
    
20.     return;
    8 g3 m8 e, h5 f8 ^6 y
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    1 F+ _! f5 n2 w
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    5 U* b8 K$ W9 y2 I. B2 ~
26.     return;
    ) J$ d$ D9 |4 N' L- i" ^/ N1 D5 {
27. }     
    ; |1 U0 n0 x: ?+ {: Z
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    + @4 `  ^: F0 H- E
30. {
    . d, ~' U) r: p& l+ e
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    ; h6 M$ s7 a% M3 F% t
33. }
    # `' Y+ V! V  O# Q5 P
34. 
    ( a0 S& U/ \% A1 b( R4 J
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    / ]2 R  Y' H# S6 `+ d) P% M
36. {
    4 T& }+ j& }& w. R) x
37.     char buf[4];
    2 J' ^, d$ `& P1 ]( N
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    ; P6 I) _8 V: N6 {7 {7 J) `0 m
43.    
    - V( p$ |' f* U' n* X
44.     int i = 0;
    4 j" b$ W: u" m# I- E7 f
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    3 Z  X& V( l& t5 p+ l" L
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    : p* @$ K0 Y, }2 A
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
    - {+ s; d! w/ F; u: `# f6 ]
53.             else
    4 ?) V/ W3 Q* Q% Q) t
54.             {
    ; C0 T9 v  `( A9 \: Q  J
55.                     wchar_t pbuffer;
    : h! w+ C* i3 }( ^8 }6 I, L
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    . O+ e0 X+ p0 R7 O# G
58.                     UnicodeToUTF_8(buf,&pbuffer);
    5 p% d. ^  I/ j6 A# j
59.                     
      u( j9 X" s3 ?3 U6 X5 S" k
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    3 g) O( s2 x5 e  a: t% P
63.                     tmp = rst[j+2] = buf[2];   
    8 @! |: c, R$ `# ]
64.                     
    
65.                     j += 3;
    
66.                     i += 2;
    
67.             }
    1 B/ [1 w4 w" O4 J% \
68.     }
    / ?  J3 ?  C" {: y1 f1 W* \, [6 v
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    , p$ v& T' S! m: `) c
72.     pOut = rst;            
    . O7 m+ _$ z$ A
73.     delete []rst;   
    5 \, z2 v) m5 F7 D1 L& C" _
74.    
    
75.     return;
    + B% f1 Z1 C7 X# m
76. }
    ' W8 I+ c+ p0 N: K
77. 
    : X" l2 L* G! g; q& ?( V3 i, p) V
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    . g; g4 W# L$ o& M; A3 [: x3 A( b
79. {
    
80.     char * newBuf = new char[pLen];
    7 ]! F' ?0 p2 Z
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    - |$ g1 q+ z3 Y, D9 _* X5 `. i
83. 
    * P+ S) B) U" |7 a3 E5 e
84.     int i =0;
    3 ]) a$ P, d7 b& j
85.     int j = 0;
    
86.    
    : v# J1 G) n$ y/ i: }% R
87.     while(i < pLen)
    ; N) i- G- R. n/ Y+ R& o3 Q: R
88.     {
    0 U2 C7 A$ V& P
89.         if(pText[i] > 0)
    
90.         {
    1 v4 u% |1 N! ~) E$ P: A
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    , K: g/ W' i& ?( B$ r, n
93.         else                 
      z! i* J0 {# @* D# f
94.         {
    * s3 X# N$ J( H. t- C" g0 L
95.                 WCHAR Wtemp;
    " e; P" }; N* A0 {( f' t9 A* w
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    % B3 A% Q. _- S* M( S' i4 ?
99.             
    # e5 ~) b$ }! X+ x
100.                 newBuf[j] = Ctemp[0];
     5 X7 ]( B8 z) ]0 X% u- i
101.                 newBuf[j + 1] = Ctemp[1];
     ) n3 e! m6 h& L$ j$ B, D
102. 
     , b: B. f1 q+ h5 t
103.                 i += 3;   
     2 @3 |1 z& V+ N, w0 e" ?9 V
104.                 j += 2;   
     
105.         }
     
106.     }
     . V! s1 }% u  U( C, d
107.     newBuf[j] = '\0';
     6 h, |" B8 T5 U; b8 v9 O3 z
108.    
     % W" y9 |* W3 a/ R( i  \
109.     pOut = newBuf;
     2 i1 H  |; H: w- ^
110.     delete []newBuf;
     $ i/ W% r8 _( n# J, c9 W
111.    
     
112.     return;
     ( X1 B& e  V& }/ t* A
113. }  

复制代码