字符集之间转换(UTF-8,UNICODE,Gb2312)

天云上人

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

- v% A( x4 O, `8 `* D1 \8 s" YUTF-8:   3字节一个字符
, ]: b) |6 C% P/ CUNICODE: 2字节一个字符
GB2312:  1字节一个字符

' e1 w5 z: l# y6 c6 E例子：

/ g9 i5 O0 f: R  V1 b2 g“你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
# J. C' X8 z% [+ i& V6 z% w+ |5 T“你”的Unicode编码: 4F 60　　　　　　　　　 01001111 01100000
1 o4 j( `- d$ }9 |, C按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
  s8 a. W  K- W: m把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
8 E; Z" E& e0 Y3 ]) L1 _注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
( t" ^/ P7 M) O; Y7 K
7 J0 m9 `' R* e" z+ L# y类定义

1. class CChineseCode
   
2. {
   - \- l/ n) T1 a$ b8 W$ B2 O* ~
3.    public:
   . M, Y1 q3 |+ @/ }5 H: N
4.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
   
5.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
   ) t( g2 I( }0 P( k" y' P6 F
6.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
   
7.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode
   
8.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
   : }$ s' S5 G$ g* C& k
9.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
   ( }0 F# k+ c7 e$ r9 v
10. };

复制代码

类实现
; f$ a+ n' ~7 K# J
, ^6 W8 s2 s) d$ f5 w

1. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
   
2. {
   
3.     char* uchar = (char *)pOut;
   9 [4 L  s2 |% |
4. 
   
5.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
   4 B3 T2 B2 P/ V% x6 ~5 y
6.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
   
7. 
   
8.     return;
   
9. }
   
10. 
    1 H; l3 r, G0 `) |3 y4 U; Y0 _
11. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
    3 g1 v# L3 V) ]+ E. H8 b4 [
12. {
    # {. V: F# S4 ?; |) t3 C
13.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
    $ B. {2 A) v$ ^
14.     char* pchar = (char *)pText;
    ) T2 O- S3 T+ L9 \# n( Z
15. 
    
16.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    
17.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    
18.     pOut[2] = (0x80 | (pchar[0] & 0x3F));
    . g: P# V" w9 w  H
19. 
    
20.     return;
    
21. }
    
22. 
    
23. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
    
24. {
    ; G, [! |5 ?% i, o* a7 |
25.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    + g8 d$ U4 m5 e+ W% i1 m4 w; f6 X
26.     return;
    
27. }     
    
28. 
    6 g4 n& g$ h  N% o
29. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
    & S* M0 Z; U  L% y
30. {
    4 s# |5 v: A! V' i
31.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    , D% H" X; z4 L, Y7 i6 _8 c& o9 b7 S
32.     return ;
    8 D6 @$ Y1 y! R( H' L
33. }
    
34. 
    ; b( M5 \$ S# q
35. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
    
36. {
    
37.     char buf[4];
    5 X' {6 g2 W1 D3 z( }
38.     int nLength = pLen* 3;
    
39.     char* rst = new char[nLength];
    1 _9 M) u" d$ D- n3 u  u
40.    
    
41.     memset(buf,0,4);
    . j% Z& V! I4 [
42.     memset(rst,0,nLength);
    
43.    
    ' v2 g3 [0 d* ]3 s, A# d; L
44.     int i = 0;
    
45.     int j = 0;      
    
46.     while(i < pLen)
    & Z2 M5 \+ y* F% @. U& ?$ z
47.     {
    # n9 ~( e+ ]7 V+ ^
48.             //如果是英文直接复制就可以
    + F4 V( Y8 Z! H( F; Z: l
49.             if( *(pText + i) >= 0)
    6 N8 L1 w4 V; E$ n
50.             {
    2 s7 K+ s" C- U7 K$ t0 n
51.                     rst[j++] = pText[i++];
    6 ]" }2 l- b; E/ e' s
52.             }
    
53.             else
    0 _, z- t& U/ e* \
54.             {
    3 z% o# C5 h0 Z$ q
55.                     wchar_t pbuffer;
    : ]/ u8 w. ]/ H; `+ _, `2 A
56.                     Gb2312ToUnicode(&pbuffer,pText+i);
    % n: @- O" y# C2 ?$ N. ^, q
57.                     
    - K* b! D" B$ s5 s" {0 U
58.                     UnicodeToUTF_8(buf,&pbuffer);
    2 d1 Q5 o5 [6 E. D2 L% c+ `1 I
59.                     
    ! b5 p  ~1 K2 B1 C6 d4 S+ X) x/ ?
60.                     unsigned short int tmp = 0;
    # Y  H. t" V6 b9 G" ~
61.                     tmp = rst[j] = buf[0];
    
62.                     tmp = rst[j+1] = buf[1];
    ( T0 y+ i% Y/ j8 V2 [: K( {8 Z# M
63.                     tmp = rst[j+2] = buf[2];   
    : d5 i8 x: V/ v' _. y
64.                     
    
65.                     j += 3;
    3 w9 W- W# a! ^9 O3 u& p" Y; P
66.                     i += 2;
    
67.             }
    
68.     }
    
69.     rst[j] = '\0';
    0 R7 J+ z1 J! K
70. 
    - O0 S0 @  m4 Z# Q; _
71.     //返回结果
    9 ]. V* j# k1 e
72.     pOut = rst;            
    
73.     delete []rst;   
    
74.    
    * }) p4 Y$ n6 E6 h8 ^# j+ ?. t
75.     return;
    
76. }
    . K* ]% \( U* {) F; C& p3 V
77. 
    6 C- m  a* `& l7 y, P; v9 M2 O: d
78. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
    9 @9 }: A% K7 q( s
79. {
    : Z- i& A. L2 F0 i( R$ d: }
80.     char * newBuf = new char[pLen];
    
81.     char Ctemp[4];
    
82.     memset(Ctemp,0,4);
    5 a& {9 u- B" }/ e. j' l" \
83. 
    ! E8 G* N7 S- p& L7 r+ z: ~
84.     int i =0;
    0 y9 ]& _8 W  x: D
85.     int j = 0;
    
86.    
    8 Y  w5 x/ @+ s! y; {* h
87.     while(i < pLen)
    
88.     {
    
89.         if(pText[i] > 0)
    
90.         {
    % o0 h1 `! ^2 y8 v# @+ t
91.                 newBuf[j++] = pText[i++];                       
    , y. ^( w/ Q* T$ I5 m5 \) H
92.         }
    
93.         else                 
    4 L! `3 y+ z/ U1 N
94.         {
    9 W: q2 Y+ t; s( ?0 u
95.                 WCHAR Wtemp;
    / o8 D3 U' o9 w( R$ t0 x! G, i
96.                 UTF_8ToUnicode(&Wtemp,pText + i);
    5 L8 H9 a0 f* e( a% z; P
97.         
    
98.                 UnicodeToGB2312(Ctemp,Wtemp);
    / l. D/ u3 J. a+ D% u5 w
99.             
    3 ^/ x, e6 P0 G; B6 H( L# W/ r
100.                 newBuf[j] = Ctemp[0];
     
101.                 newBuf[j + 1] = Ctemp[1];
     ; ^, ^0 {7 x  p4 d) U& G4 m. f/ {& G
102. 
     6 |1 f9 a# s3 ?* P# u
103.                 i += 3;   
     ' V0 n: A3 X  _8 U! g# m7 c. ]
104.                 j += 2;   
     2 U- @5 A7 n3 m. n- q& A
105.         }
     
106.     }
     % d+ ]8 y; \3 t5 K6 E( U& W
107.     newBuf[j] = '\0';
     3 R2 K* A  [2 @# K& a; l
108.    
     
109.     pOut = newBuf;
     
110.     delete []newBuf;
     2 Y& W; Y2 ]+ s7 M2 l, ^! h: r
111.    
     
112.     return;
     
113. }  

复制代码