字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

2 l, w0 `9 `' p. _6 nUTF-8:   3字节一个字符
UNICODE: 2字节一个字符
6 ]* f( l  D9 N( L9 F  q( O( x2 TGB2312:  1字节一个字符
8 F" _; @3 R0 b) c; q
) Y5 n5 o7 H6 V$ W5 l( p7 H例子：
+ D- f, N8 y$ r- q- o! T* j3 E
“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
  H+ m7 g; S  c" V  G“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
' [6 j# a8 e1 Q0 H7 D+ E6 k按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
' t5 B) q  P( I把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
% e; Y7 ?& m; H/ ^* g7 h9 i注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。

0 O6 H. n6 \/ o6 N* g; T4 z+ |类定义

1. class CChineseCode
   & d3 P, A% ~  f& T5 @/ n4 |
2. {
   1 y& f5 e/ Q9 c2 V
3.    public:
   1 B- o- C; E7 D* n
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   5 d1 C% i5 N6 `3 j
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   / E. A3 d) }  e: h  N8 d. J5 j5 L
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   ( P0 {# F# t0 ~. e
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   0 T  j2 _2 k6 C8 L9 z9 O2 s& A, N
10. };

复制代码

类实现

0 b( k( O. y+ N+ z2 F

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   . ~' [& m" I3 z( O4 I* p# ?: i
3.     char* uchar = (char *)pOut;
     F7 `. ~' l- V/ B' ~0 w
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   * h& C% q" U/ `0 S% [( j1 V8 r
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   / w0 x0 E0 y- P( c& _! z7 {, e
8.     return;
   & C7 D% `) d( v3 Y4 [5 E
9. }
   / {& H: P, M# r7 [, H# a, d
10. 
    
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    6 s; f5 F1 T& F1 X/ @: |
12. {
    ' X8 B0 [5 o+ h
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    
14.     char* pchar = (char *)pText;
    
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    
19. 
    7 F" L  a' f; a* X* ]
20.     return;
    2 M% k+ a5 g5 ?/ H
21. }
      E& a9 {) H" y4 X% G
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    . @3 v! X+ Q& B$ f
24. {
    4 h* n" Y/ n8 E9 K& P
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    
26.     return;
    
27. }     
    7 m% _3 \6 \3 g3 t8 w
28. 
    ; {6 m' F1 m  r  J3 g3 F
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    6 h* C$ n  X0 {$ c# P. Q& h# H
30. {
    ' B& t4 |; ^6 \7 H1 |
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    
32.     return ;
      p- L; D$ M0 K* g. m1 d) I
33. }
    
34. 
    
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    
38.     int nLength = pLen* 3;
    " U3 O- v; c& r
39.     char* rst = new char[nLength];
    1 E6 C4 n' J% ~2 y( p& X
40.    
    6 X2 y3 B, p4 Z
41.     memset(buf,0,4);
    : M5 B8 e9 U- F/ o. i) h1 R
42.     memset(rst,0,nLength);
    ( i1 ]. d" u' X
43.    
    
44.     int i = 0;
    " H1 g  p3 B0 \
45.     int j = 0;      
    0 t% |; W! P" f! _0 l
46.     while(i < pLen)
    # |* w# m4 n! F2 i
47.     {
    ( m- b! q2 O) H+ g" @6 L: ]/ o
48.             //如果是英文直接复制就可以
    5 T3 h8 l4 I, m" u9 E8 P
49.             if( *(pText + i) >= 0)
    
50.             {
    3 z1 g7 n/ Q9 X; w2 U7 m0 S: y
51.                     rst[j++] = pText[i++];
    
52.             }
    ! {! H+ U: y3 Q8 b
53.             else
    
54.             {
    
55.                     wchar_t pbuffer;
    9 @' I7 _; ~! V$ Q& l( F& b! _
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    
57.                     
    
58.                     UnicodeToUTF_8(buf,&pbuffer);
    0 e% T! w) e/ n9 ?8 E- k
59.                     
    
60.                     unsigned short int tmp = 0;
    ! m, W* A1 {, p6 M  X
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    * B  d, y: H  P) }9 D/ f2 ~3 ^: o
63.                     tmp = rst[j+2] = buf[2];   
    " w, i7 L( z4 x& O3 x
64.                     
    ! W+ }, h8 }  M# @
65.                     j += 3;
    
66.                     i += 2;
    7 i: a# A( a$ A4 G. }  f& f
67.             }
    - A( F0 m% x: B0 w6 M& Z& o; D
68.     }
    
69.     rst[j] = '\0';
    0 g: @, q1 y0 Q- q& N, Y
70. 
    " a3 b1 U: Q: E7 h7 L% [
71.     //返回结果
    
72.     pOut = rst;            
    / ]' ?: B1 i" Q1 O
73.     delete []rst;   
    
74.    
    
75.     return;
    
76. }
    ; S) ~+ u2 ~5 w* {0 [2 c
77. 
    
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    
79. {
    5 J! R1 j* A; f- ~) I5 Y
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    6 ~+ G2 w" B5 G& T* E+ N
82.     memset(Ctemp,0,4);
    
83. 
    
84.     int i =0;
    2 i6 R  ~) h9 W# ^# z. m
85.     int j = 0;
    
86.    
    
87.     while(i < pLen)
    4 g3 E3 `9 O0 {6 v
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    - X/ D& Q6 `8 G# A
91.                 newBuf[j++] = pText[i++];                       
    
92.         }
    
93.         else                 
    
94.         {
    
95.                 WCHAR Wtemp;
    8 i3 C0 w9 ]8 q0 E& T
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    
97.         
    3 C+ p6 j! g: }' n' g, w! m
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    ) z) t* ^: n, v, N- B
99.             
    # Z4 _! I4 L8 t1 Z  W2 v
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     
102. 
     
103.                 i += 3;   
     
104.                 j += 2;   
     
105.         }
     7 p: \4 S+ L8 ^. W
106.     }
     
107.     newBuf[j] = '\0';
     5 y6 ^* E% h& z4 H
108.    
     3 g2 p9 B  c) ~
109.     pOut = newBuf;
     
110.     delete []newBuf;
     
111.    
     
112.     return;
     
113. }  

复制代码