字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

+ x% }4 P6 [' b' q) xUTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符
* V/ O3 D- b. n4 P7 ~6 B$ {- a
+ ]# _2 V! }  F- c" i$ d1 f4 F例子：
4 s& f& ^1 u  S8 Q
  |: T# i4 e0 m) ^/ a; E3 P“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
' a* S: v5 X/ p0 T按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
# J! [9 W  _/ e! c/ M把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
. s( Y# Z! N6 I" o0 ]6 V, v1 u经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

类定义
' j. k0 x+ }; g' V; B5 D

1. class CChineseCode
   
2. {
   . x$ Y( L9 E! V; e) l# ~
3.    public:
   # J/ A: K9 I, C8 i9 ~0 j6 ?7 S" @0 l6 A1 H3 L
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   - A2 c3 ?5 R7 B1 c
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   : q* r+ y0 s6 Q, v
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   1 W& o$ J+ g# s# G  J
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   5 \. e$ a! l. P1 C3 M3 w; R
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   
10. };

复制代码

类实现
9 o) l' V, |- F" w5 l

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   $ I- M; F8 s* |* Z# a
4. 
   5 d* J4 I: P/ y0 i+ R
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   ) L, K* a$ I6 q% q* ]
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   5 ^; \# k* k0 f) W6 V3 T
8.     return;
   ; c* W' _( R: W; u8 V; N0 `: w7 z0 G
9. }
   
10. 
    ' r8 f+ R3 G4 _
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    
12. {
    ( o7 F+ j1 s% C( A( u$ H
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    % L  M. r" I! f+ E) i. w
14.     char* pchar = (char *)pText;
    ) B) p( p  [; P  ^/ o, Z) |: D1 w( ?" G
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    2 f, G, S: ~6 Q  _+ _% L
20.     return;
    : y, a; U  g# ?8 l0 x; m; U" P
21. }
    
22. 
    , {) t+ U  N$ ^
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    1 \6 y( x9 j9 p! M9 H+ u( @. n
28. 
    
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    & \, F8 ]( E4 v( N/ \
30. {
    
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    / T- J$ e/ X6 f; z' h
32.     return ;
    - D3 g. K# Q: K2 _
33. }
    
34. 
    % S) R; N' \9 ?% E0 L0 C8 H& W
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    9 ]& W2 i0 I) P. J
36. {
    7 C% \# `$ ^' ~) W% |
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    
40.    
    * l- [) Y- q4 p- `9 F
41.     memset(buf,0,4);
    
42.     memset(rst,0,nLength);
    ( \/ {) x& T# X8 E9 T7 o
43.    
    
44.     int i = 0;
    2 c3 \! G& q% d0 x! A" ]) l; `) _9 ]
45.     int j = 0;      
    ' A. |) Q7 K' y3 y/ m
46.     while(i < pLen)
    
47.     {
    . u3 s# D0 G1 D! d% r5 @
48.             //如果是英文直接复制就可以
    # J0 g5 h/ b+ Z& K1 D3 j
49.             if( *(pText + i) >= 0)
    
50.             {
    3 n% ~. X2 W# ]5 j
51.                     rst[j++] = pText[i++];
    
52.             }
    
53.             else
    
54.             {
    " r: {+ i; p: ?  U0 ]- }
55.                     wchar_t pbuffer;
    
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    
59.                     
    4 ?3 b+ L, @/ }' o) E
60.                     unsigned short int tmp = 0;
    6 W+ J) P+ p2 v
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    
63.                     tmp = rst[j+2] = buf[2];   
    
64.                     
    ' o; @6 e/ n7 {; r+ h1 |
65.                     j += 3;
    3 }% Y( [* ?2 M& J. N
66.                     i += 2;
    ' A! ]- Y( |, w2 e6 d7 J
67.             }
    
68.     }
    - P3 d% X6 y" o! G" M
69.     rst[j] = '\0';
    
70. 
    $ `# i0 |; j% P/ P
71.     //返回结果
    
72.     pOut = rst;            
    : w/ @/ e& a# x2 o" f3 @4 o
73.     delete []rst;   
    2 T7 V( X  T4 ]# `. |# w
74.    
    
75.     return;
    1 ~0 m$ m8 t, `& R
76. }
    3 d5 ]$ }$ \4 j. ~1 g& [
77. 
    1 l( A8 b+ a# D: W5 `
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    
80.     char * newBuf = new char[pLen];
    ; [2 V4 p) b+ ]9 W, ^' Y& ]  V, H
81.     char Ctemp[4];
    7 v) Z( V3 W; K' Z* z% ^7 e
82.     memset(Ctemp,0,4);
    
83. 
    8 v$ ~* |, b0 j
84.     int i =0;
    6 q0 X" M8 j  E9 Q
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    
88.     {
    $ |" B+ M* f9 r/ B. ?% v; a# o
89.         if(pText[i] > 0)
    - S. Z* ], Q8 n% h
90.         {
    8 D+ D  J* i& j4 V
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    # f8 Y  S% _: }2 a3 [. u
93.         else                 
    , j' G/ {& d# E3 A' |" N$ W
94.         {
    
95.                 WCHAR Wtemp;
    
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    2 f) I" ?3 k$ R! E+ [
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    
99.             
    
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     ( z/ p: U& O2 c. j8 u3 A% _
102. 
     ! n( S) _! m9 r
103.                 i += 3;   
     
104.                 j += 2;   
     - Z# m9 ]6 A# f+ a4 V" v, c
105.         }
     
106.     }
     ' `6 b( L) z7 ?" q
107.     newBuf[j] = '\0';
     
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     1 \% r  n1 P1 n/ B* {6 u
111.    
     
112.     return;
     
113. }  

复制代码