字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

! U7 i5 B8 S2 r; Y3 Q8 a5 _) S5 AUTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符

例子：
- \5 @3 b" J. i. f! x4 G9 s
“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
8 a2 N5 v. g% y. D9 n“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
# x; \- B9 m) y按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
! l5 ^% \* r& l! M' }注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
) f/ m; h- J) o/ u# P% r经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
2 }  b9 z% X/ B1 V7 l
类定义

1. class CChineseCode
   
2. {
   : x0 C3 }4 R0 L9 T7 ]/ o
3.    public:
   3 N3 `- k! _8 m
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   . U- F5 O0 `# K7 Z) f
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   ; o; F8 H0 Y0 ]5 y8 r+ K! Q- o, j* l
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   ' C9 P# U% [3 m+ C9 p* S
10. };

复制代码

类实现

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   ; N* B. b; k  q; u; R8 K+ g
3.     char* uchar = (char *)pOut;
   
4. 
   " N% I4 J5 T! s+ J) k
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   . t2 e( ^* u6 o5 o
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   & W+ Q  ?  w" j8 `$ j/ Z" ~
7. 
   
8.     return;
   : J& T1 A8 _5 y- L8 n
9. }
   
10. 
    & ?6 U6 Q% o- p1 ?& g+ _2 K
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    0 b7 I- }. z* e! r) a2 j$ t: F7 @
14.     char* pchar = (char *)pText;
    & i) ?( l5 ^% ]" x
15. 
    9 V; e$ K( ]! n! `# ~" S, P
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    8 ~0 U1 W  x6 `) I. ^7 x9 t( A# u
19. 
    
20.     return;
    / i5 X  Y6 D4 b
21. }
    9 w" s4 ~5 {6 K7 q2 C9 J3 l
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    ! z8 e3 x9 s% W7 a9 E1 j
27. }     
    ; x; A6 n- t# h, K  I9 W/ H* W* n
28. 
    ! }2 M5 y0 D4 w- E: z4 M
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
      u$ f% j. x3 U2 h
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
    
33. }
    ) a" W2 ^/ l3 H, ?
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    : i5 Q8 N' P3 A% g. h7 _
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    4 m  q' q4 @9 S
39.     char* rst = new char[nLength];
    
40.    
    ) I' w1 d4 Q- Q' m
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    / v6 E% a. G  i4 a: X0 b
43.    
    
44.     int i = 0;
      p& D; w3 {  Z8 s
45.     int j = 0;      
    
46.     while(i < pLen)
    
47.     {
    . i- d9 k! r; A
48.             //如果是英文直接复制就可以
    : n# H8 q' s! P1 X% x  {6 j4 W
49.             if( *(pText + i) >= 0)
    
50.             {
    
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    ) t1 N# J1 Z5 I- v
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    
60.                     unsigned short int tmp = 0;
    , ]* w! X# x) o9 f
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    : {1 q+ J1 f8 z6 F3 Q+ o
65.                     j += 3;
    . Y4 T+ B% w$ J% w6 T
66.                     i += 2;
    7 i6 h/ O& f8 y0 j
67.             }
    + x: `0 |* j) q3 R* m$ @3 N8 v
68.     }
    
69.     rst[j] = '\0';
    3 q) U) ~; \8 {3 l  l
70. 
    * S% O! S# Q5 q4 m
71.     //返回结果
    
72.     pOut = rst;            
    # C( ?) ^! N# P; P
73.     delete []rst;   
    ! l6 P9 t% E: i" D& w+ f
74.    
    1 R. T- Z- Z* K# x! m/ t. ?
75.     return;
    , A1 x! s) W0 H" M$ J) y
76. }
    ' J5 D/ S; B% J7 X, c2 S! S
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    0 L# `% ]9 R9 n, u2 h
79. {
    6 I9 i6 D  G' Y* i1 k
80.     char * newBuf = new char[pLen];
    $ n/ h6 V# l9 V- E+ _3 q: b' L
81.     char Ctemp[4];
    - p, v+ \( d. q3 R1 Y. a
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    
85.     int j = 0;
    7 {4 n5 |; _: j) o( j: F: q
86.    
    ( O3 P- N, \' W8 C$ b9 g2 W) l6 B. J
87.     while(i < pLen)
    
88.     {
    - d# g$ m! t) }* Y# N( J& l1 H
89.         if(pText[i] > 0)
    
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    ' `9 I* z- F$ y
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    - O! t0 Q' M3 j: g$ V
97.         
    ( o* O1 {3 q3 p' v6 ]9 t3 A* o
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    % \+ j3 f2 e. E- g
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     / `) N( t. k$ P+ L7 h( n
103.                 i += 3;   
     
104.                 j += 2;   
     1 j9 P" z" C, Z7 q" w/ D6 o
105.         }
     
106.     }
     
107.     newBuf[j] = '\0';
     4 ]6 I$ `& p$ D  F" R& z; p
108.    
     0 r9 L; F" o" R% R* K( ?* O
109.     pOut = newBuf;
     / d7 M! I6 T3 U/ ]
110.     delete []newBuf;
     5 _. c6 `- a$ d2 o( O+ a; M" ]$ M
111.    
     7 B) x; M4 A, g! W) v( C% B
112.     return;
     + _+ |+ }2 D* C2 m3 ?
113. }  

复制代码