字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

3 n" ]+ u: A  _5 {( r7 TUTF-8:   3字节一个字符
UNICODE: 2字节一个字符
# t5 H. \4 p  t3 k. N" C4 HGB2312:  1字节一个字符

- f6 J, D& Q8 N/ E9 H' K4 g例子：

! q. Z$ W% k* _( P“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
" S7 [) m4 N4 {% |“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
- O. V. }" g! }; Y经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
: }% W8 j$ a2 i( g, W
# |8 X, M; X# S- ?! x* Y类定义
% l  c' R: J1 d; M7 u9 a5 c8 D, a

1. class CChineseCode
   # U5 Q# M& |+ h" J0 u! J
2. {
   
3.    public:
   9 V2 R; f& b$ V8 T: X, g
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   9 i6 }8 d8 a( O5 u. z
10. };

复制代码

类实现
! f! w3 S7 r! Y: \6 H8 Q) u

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   
4. 
   4 H$ ]! Z3 {3 w/ h8 u1 w
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   ; l# d- B2 z4 }3 f& E/ S% R
9. }
   
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    / v4 [. w" m- L# b' W
12. {
    
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    $ C4 Y0 @( h  h$ V3 F
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    * f# M! y- i+ B5 n7 e1 O7 l
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    : N2 D$ H' p* H
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    " d4 m6 g7 Z$ {0 h+ l9 K4 S- F4 z3 R
19. 
    
20.     return;
    
21. }
    ! s, p% o6 o& X. V: n
22. 
    , c9 |- a8 h9 P" j) I
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    ( \' ~+ c, b8 z+ j3 p6 O7 r
27. }     
    
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    
30. {
    ! g' T# w1 a  t' @! b& O
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    4 O* X8 A' R* @; h
32.     return ;
      Z4 Q; a' |2 d  A
33. }
    " h% W7 u/ x7 N: ~6 {' L  g
34. 
    ! t/ B: b# q4 B- c9 v/ c# q- M
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    1 _% j1 s% z0 C. ?* }% C  W1 B
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    ! f5 P3 p- r/ P! h* r9 O
39.     char* rst = new char[nLength];
    6 N7 N' [2 U' F( ^& R* p: f
40.    
    
41.     memset(buf,0,4);
    % S6 r: \' P5 z2 k6 D( f# E5 o! I
42.     memset(rst,0,nLength);
    7 ^" m7 ], f' \2 E
43.    
    - N, t; u2 l  z
44.     int i = 0;
    1 l; v  k6 x6 v" h1 g
45.     int j = 0;      
    # }9 G0 F- \4 J! S8 }% i
46.     while(i < pLen)
    : F' @$ ?: m- u$ ~/ ]# c
47.     {
    8 Q+ q4 Q* |/ G9 ~
48.             //如果是英文直接复制就可以
    
49.             if( *(pText + i) >= 0)
      \, p; ]9 H7 U8 o. y5 ~
50.             {
    - y: D( \# p$ [
51.                     rst[j++] = pText[i++];
    9 w1 B7 j* g0 d, v8 h2 U
52.             }
    
53.             else
    
54.             {
    $ g. l+ `+ a- G( O  w' f4 P
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    4 m3 o& y, r  @
59.                     
    
60.                     unsigned short int tmp = 0;
    3 B* B2 x" a0 H' V0 {
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    8 z5 s4 O; l+ K: {2 G
63.                     tmp = rst[j+2] = buf[2];   
    9 }* s7 b4 d+ z: p1 V$ \% _
64.                     
    1 N9 N/ t3 x6 Y) k& Z& s
65.                     j += 3;
    
66.                     i += 2;
    % Y. ^, M+ `* h1 R5 `$ ?
67.             }
    9 b- X& N! k" V- a8 s) D, t
68.     }
    
69.     rst[j] = '\0';
    $ l- v% w! f6 ?6 i
70. 
    " J- U! E. r4 x
71.     //返回结果
    ( p% n' c! N* |( K4 ^0 `
72.     pOut = rst;            
    0 m. c* ^3 N* K; f! \  c# E
73.     delete []rst;   
    
74.    
    ! `# N6 B$ w* z& g: q* g% k+ K
75.     return;
    
76. }
    * ^* A$ {; t6 a% T% r
77. 
    $ o4 |) [# `8 Q/ J
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    * ], l$ P  C2 u, b% ^
79. {
    " S! L0 F# Z3 X9 N5 c
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    : v) q8 @- Q0 F- M2 d1 q5 l" ~# L
82.     memset(Ctemp,0,4);
    ( T, ~. S: P; q0 A/ W/ E
83. 
    
84.     int i =0;
    
85.     int j = 0;
    2 o) g- N5 y& @* U( J
86.    
    $ X- C( c# e. }6 s: A& [/ r
87.     while(i < pLen)
      N9 I0 z+ J% _! }
88.     {
    3 `& d% C  t+ G, I
89.         if(pText[i] > 0)
    1 f& P1 m+ P% X9 \. B0 {
90.         {
    
91.                 newBuf[j++] = pText[i++];                       
    + ]1 d8 |. `& ]" j9 V0 ^# r
92.         }
    
93.         else                 
    , J  a  k2 M/ b' R" X
94.         {
    0 e7 Z6 {6 e5 x$ ~
95.                 WCHAR Wtemp;
    0 @: y/ a9 \" L/ V
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    - c, H4 ?. S  H* j
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    $ H& G5 Z* @# C$ ~( g* O8 n
100.                 newBuf[j] = Ctemp[0];
     / ?$ T' I  S1 {4 f4 M' ?
101.                 newBuf[j + 1] = Ctemp[1];
     ! W' E: g& J0 j- s  O/ L
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     % W3 d0 z, n. ~, R  a$ G  ?5 q
106.     }
     ; y* ^$ `$ I, ^! w$ f( c4 C
107.     newBuf[j] = '\0';
     + y: o* i) F, [$ w# c
108.    
     0 G3 K3 C* z# j. i
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     $ @' c" n4 N/ u. Y2 X  Z
113. }  

复制代码