字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
  ]/ l( d& g/ }& x
UTF-8:   3字节一个字符
$ Q$ P5 ?  k5 }! t! u! ~5 `' R) ^UNICODE: 2字节一个字符
GB2312:  1字节一个字符

% g, _( m- i, ?6 U+ ~7 @6 `例子：

0 L; m, N3 y5 l- G“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
2 T! I9 c" P3 R0 Q6 o“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
( d" t# Z7 J, g+ t4 F按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
( b  j7 [4 u2 o0 T" Y( g  ?9 X经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
7 T* ^; |: o. p8 k0 l$ j% U& R

1. class CChineseCode
   - B7 w$ f* ?/ \  D/ R) g# u
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   ; S$ h+ |3 M2 S% o9 Z: `2 j) r8 z
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   , {; x6 D. D( L+ P& p3 W* }
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
( g0 F' g5 Y( L

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   1 f( a4 h( p8 U" H  E
2. {
   
3.     char* uchar = (char *)pOut;
   ' M1 h- O$ `2 J* ^7 D- _5 y
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   7 `1 H1 @. G& M
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   4 [8 h; S' J  [0 k' I
7. 
   1 u. ]8 \# V# c$ |' Q2 T
8.     return;
   
9. }
   - i6 `# z* m4 c* X1 c0 K  s/ h  r4 r
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    , H) u/ L) B. C* C5 C
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    1 E0 v1 n$ I; A. K+ t0 e
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    7 T- T* Y7 H/ w' B% }( I
19. 
    3 N/ J+ E6 W; c, W0 ~) }
20.     return;
    6 g' z8 t; c4 {' \1 v# @6 ^; k" L1 |
21. }
    & Z  n( \: X8 x
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    " Z$ M. P2 P; T7 d3 j1 O
28. 
    , c! }! [4 ^! z7 |: K3 ^
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    0 n0 i) {4 P( E& E- ?
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    % L) x- N7 S% U' v( p7 p# ~; p
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    ; M5 C  Y' L  p! w. S
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    ) o& K% M; c1 F9 D. U5 ?) f2 p
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    0 b$ \7 g3 w& R: D8 u% r
45.     int j = 0;      
    ' t" f/ V5 q. S4 B$ t& ?* \- V
46.     while(i < pLen)
    * Q" \$ T  m( A; n2 D
47.     {
    : r8 K; K9 l  K4 c  j, b) Q4 Z3 j
48.             //如果是英文直接复制就可以
    7 x7 n4 h; ]* N* b& ^0 K$ \+ {- T
49.             if( *(pText + i) >= 0)
    5 \3 ~# l9 n, I, c$ S
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
      m0 d2 u$ ?0 b! S( `4 [
53.             else
    
54.             {
    . T+ _7 F' N# [' b$ p. r
55.                     wchar_t pbuffer;
    8 z) X( y- S" b7 }; l! C
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    0 B: Q1 Q' u0 I: X0 J
58.                     UnicodeToUTF_8(buf,&pbuffer);
    $ G% |' V1 |+ `4 c7 E
59.                     
    
60.                     unsigned short int tmp = 0;
    
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    4 [8 L  j$ B- V. u
64.                     
    3 ]8 O+ K4 r) `$ X* ~( I6 E' f
65.                     j += 3;
    
66.                     i += 2;
    9 ^3 d- O; i% m0 {% W$ I: L
67.             }
    ! O: _) H' B( k) C$ c
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    $ x. p5 n. M& J" z+ D
72.     pOut = rst;            
    
73.     delete []rst;   
    : _, _/ x( \. e. z2 y; ]- {/ ?
74.    
    7 Z5 @7 O6 l% |/ [3 _
75.     return;
    - k; ]  M, c2 p( ]* {
76. }
    % ]! w2 e/ D9 ~
77. 
    2 ]" ?7 E! P& b( t6 e( h
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    . K; F6 E( i% U+ s' B+ W4 h: C' A
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    & J7 a+ }+ u* g* Z" J  ~# h
83. 
    ' e6 Z, i  P0 N/ q4 e& ~
84.     int i =0;
    
85.     int j = 0;
    
86.    
    + b6 [' l; B  l0 a
87.     while(i < pLen)
    : w  z2 k6 x& A" K: K
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    * x& j, m% H1 F/ q0 |
91.                 newBuf[j++] = pText[i++];                       
    6 X) ]1 T* [9 a( S" M
92.         }
    
93.         else                 
    
94.         {
    * ^1 y& B, D& j- b" {4 t% {
95.                 WCHAR Wtemp;
    " N0 ]1 v! q- a2 b+ f6 f
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    + j- e3 l- a" N& X$ y+ n5 U; Y$ A
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    3 f( o7 {8 L- A: P5 B' ~
99.             
    & N6 z0 X5 z7 j* {; s$ b
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     9 j& |' a5 @1 B% S
102. 
     % x. V& t) ]5 E, X% c4 R9 r( V
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     
106.     }
     8 M, N& U2 R9 C$ C7 S+ M8 S6 ?
107.     newBuf[j] = '\0';
     
108.    
     $ R2 m3 Y0 W  l7 E8 e
109.     pOut = newBuf;
     
110.     delete []newBuf;
     / F. S- @& L, {1 p1 h( ?6 \( S3 V
111.    
     
112.     return;
     
113. }  

复制代码