字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
: N8 o5 r6 F* c
8 X6 v8 e0 Q* N2 k8 VUTF-8:   3字节一个字符
. n7 K1 X: N7 J/ k$ J$ @- ~UNICODE: 2字节一个字符
GB2312:  1字节一个字符
. K7 d6 {2 a* Z9 ~2 c& }
6 u- }* j; R* G3 Y例子：

/ P: W* j8 A  H5 g. k. K7 r6 |4 u“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
% H( G6 z+ O0 ?# C6 R“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
; C5 z5 d: i* I; V8 }1 V把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
2 A4 m& z' I8 @6 T  Q: T, B4 p3 u) Z经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义

1. class CChineseCode
   
2. {
   
3.    public:
   
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   - o7 O$ N( e( I
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   " H) b! k% n; K4 ^
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   - x  @5 z3 _* r. O1 s
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   / X3 v! M/ S8 u0 a# |2 u
2. {
   % H+ |6 y$ X) |: y, |, X; p5 f
3.     char* uchar = (char *)pOut;
   # T6 I5 t" ]4 c& g0 M
4. 
   " F/ `! N4 u* v7 x: ~
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   : V  [. c! v0 e( ^/ }( p
8.     return;
   
9. }
   ) M. C- S& M  I; l  V( V
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    4 l  P* G* K# m( {' E
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    ( w2 v1 m8 T5 a1 E& i/ }
24. {
    8 O# x- ?7 v+ v7 o) |# x
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    & b4 a/ X- p# a6 }/ k! f" D) x
26.     return;
    , f0 B; G, H. c- h  Y7 E: v( u
27. }     
    
28. 
    8 a3 D% j! B! ~# P! ]/ f
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    ( ^$ z, X' U4 d; L
30. {
    5 C1 }' k5 P/ j$ Q2 K- i: H
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    9 C" T! N" p- r. u/ M  }
32.     return ;
    , P& m0 B: i" S" e9 j
33. }
    . e# M3 {# Y7 f: `4 Y" a) a
34. 
    * c; ~' \& R! `& ~6 r
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    ! ~1 C/ W; D4 \8 D
36. {
    
37.     char buf[4];
    ) O( m  }+ v; {+ H0 }
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    
41.     memset(buf,0,4);
    1 S; M8 `  C' P1 r$ [7 F: _
42.     memset(rst,0,nLength);
    
43.    
    
44.     int i = 0;
    
45.     int j = 0;      
    ( t% t  s2 v, _0 b0 P. B
46.     while(i < pLen)
    4 v2 M8 l' ?5 a
47.     {
    
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
    * m$ u5 U$ z: j" _' \% Z  s, p
50.             {
    / j/ ]& Q" I$ V* _/ J( n
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    . C6 |4 L6 F0 I5 D
55.                     wchar_t pbuffer;
      B5 p( ~. c$ f  a( Z9 g
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
      ^- M5 c' x* N: R2 Q
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    7 \  [9 _3 l1 d3 D9 H& W3 g7 M4 h
59.                     
    7 e9 o8 Z. S$ ~) F% ]
60.                     unsigned short int tmp = 0;
    # e0 E- C) \9 Z: o
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    1 h* V0 h( a  ~
63.                     tmp = rst[j+2] = buf[2];   
    / m* f9 r0 E, B1 T9 j) y- ]
64.                     
    
65.                     j += 3;
    - X6 P+ N; Z+ D- T3 ~
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    
70. 
    
71.     //返回结果
    
72.     pOut = rst;            
    ; g* C6 s8 n0 |0 s9 a  {1 k
73.     delete []rst;   
    
74.    
    
75.     return;
    6 p$ t. o* @9 V% d. T' f) p
76. }
    ; G1 `+ h- L0 d, h7 K, w9 i
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    0 N9 a' N5 P3 f0 |% S  T
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    ) V3 h; r* O, p2 F) w, V
82.     memset(Ctemp,0,4);
    / y) ~2 V# o, R# [- s. W
83. 
    , m1 R+ K% c% r" K1 ]  [: O
84.     int i =0;
    0 N6 [2 u. n. j3 B6 y; v
85.     int j = 0;
    : N) \. }. h1 V% C, s
86.    
    / e% G7 {% r! X8 [
87.     while(i < pLen)
    , O  H$ u8 e7 v# Y* A/ n: q
88.     {
    & L- N8 i& w9 d/ u, W5 N* e
89.         if(pText[i] > 0)
    # m  |7 v) L1 t8 m) _3 z6 \# m7 v
90.         {
    # O' J; }* _7 Y! t
91.                 newBuf[j++] = pText[i++];                       
    : j" ~$ z8 s* d7 Z% A3 g6 U( \1 Z" W
92.         }
    6 b/ D" Y) v7 i. P) _3 E
93.         else                 
    " ^. j" q9 P, P* l9 B% q
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    9 X) t9 U! P) v' ?# q4 h
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    & d0 `' d" l) s; N2 M
100.                 newBuf[j] = Ctemp[0];
     / O1 ?7 M$ g" o/ Z2 F
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     6 Y2 {' B2 S1 G
105.         }
     - z; r' M4 e4 [# ?
106.     }
     
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     9 d* k4 a2 b9 v
112.     return;
     
113. }  

复制代码