JAVA字符编码系列二：Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换


 


１、函数介绍


在Java中，字符串用统一的Unicode编码，每个字符占用两个字节，与编码有关的两个主要函数为：


１）将字符串用指定的编码集合解析成字节数组，完成Unicode－〉charsetName转换


public byte[] getBytes(String charsetName) throws UnsupportedEncodingException　


 


２）将字节数组以指定的编码集合构造成字符串，完成charsetName－〉Unicode转换


public String(byte[] bytes, String charsetName) throws UnsupportedEncodingException


 


２、Unicode与各编码之间的直接转换


下面以对中文字符串＂ａ中文＂的编码转换为例，来了解各种编码之间的转换


１）Unicode和GBK


测试结果如下，每个汉字转换为两个字节，且是可逆的，即通过字节可以转换回字符串


－ GBK 〉ByteArray：\u0061\u4E2D\u6587（a中文）－〉0x61 0xD6 0xD0 0xCE 0xC4


－ GBK 〉String：0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u4E2D\u6587（a中文）


 


２）Unicode和UTF-8


测试结果如下，每个汉字转换为三个字节，且是可逆的，即通过字节可以转换回字符串


－ UTF-8 〉ByteArray：\u0061\u4E2D\u6587（a中文）－〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87


－ UTF-8 〉String：0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87－〉\u0061\u4E2D\u6587（a中文）


３）Unicode和ISO-8859-1


测试结果如下，当存在汉字时转换失败，非可逆，即通过字节不能再转换回字符串


－ ISO-8859-1 〉ByteArray：\u0061\u4E2D\u6587（a中文）－〉0x61 0x3F 0x3F


－ ISO-8859-1 〉String：0x61 0x3F 0x3F－〉\u0061\u003F\u003F（a??）


３、Unicode与各编码之间的交叉转换


在上面直接转换中，由字符串（Unicode）生成的字节数组，在构造回字符串时，使用的是正确的编码集合，如果使用的不是正确的编码集合会怎样呢？会正确构造吗？如果不能正确构造能有办法恢复吗？会信息丢失吗？


 


下面我们就来看看这种情况，这部分可以说明在某些情况下虽然我们最终正确显示了结果，但其间仍然进行了不正确的转换。


 


１）能够正确显示的中间不正确转换


－ GBK 〉ByteArray － GBK 〉String是正确的，但如果我们采用String － GBK 〉ByteArray － ISO-8859-1 〉String呢？通过测试结果如下：


－ GBK 〉ByteArray － ISO-8859-1 〉String：\u0061\u4E2D\u6587（a中文）－〉0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u00D6\u00D0\u00CE\u00C4（a????）


 


这时我们得到的字符串为？乱码“a????”，但是通过继续转换我们仍然可以复原回正确的字符串“a中文”，过程如下：


－ GBK 〉ByteArray － ISO-8859-1 〉String － ISO-8859-1 〉ByteArray － GBK 〉String


对应：\u0061\u4E2D\u6587（a中文）－〉0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u00D6\u00D0\u00CE\u00C4（a????）－〉0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u4E2D\u6587（a中文）


 


通过错上加错，再用错误的编码集合获取字节数组，然后再用正确的编码集合构造，就又恢复了正确的字符串。这时就属于是“能够正确显示的中间不正确转换”。在Jsp页面提交数据处理时常常发生这种情况。


 


此外能够正确显示的中间不正确转换还有：


－ UTF-8 〉ByteArray － ISO-8859-1 〉String － ISO-8859-1 〉ByteArray － UTF-8 〉String


和


－ UTF-8 〉ByteArray － GBK 〉String － GBK 〉ByteArray － UTF-8 〉String


对应：\u0061\u4E2D\u6587（a中文）－〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87－〉\u0061\u6D93\uE15F\u6783（a涓枃）－〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87－〉\u0061\u4E2D\u6587（a中文）


 


４、编码过程中错误诊断参考


１）一个汉字对应一个问号


在通过ISO-8859-1从字符串获取字节数组时，由于一个Unicode转换成一个byte，当遇到不认识的Unicode时，转换为0x3F，这样无论用哪种编码构造时都会产生一个？乱码。


２）一个汉字对应两个问号


在通过GBK从字符串获取字节数组时，由于一个Unicode转换成两个byte，如果此时用ISO-8859-1或用UTF-8构造字符串就会出现两个问号。


若是通过ISO-8859-1构造可以再通过上面所说的错上加错恢复（即再通过从ISO-8859-1解析，用GBK构造）；


若是通过UTF-8构造则会产生Unicode字符＂\uFFFD＂，不能恢复，若再通过String－UTF-8〉ByteArray－GBK〉String，则会出现杂码，如a锟斤拷锟斤拷


３）一个汉字对应三个问号


在通过UTF-8从字符串获取字节数组时，由于一个Unicode转换成三个byte，如果此时用ISO-8859-1构造字符串就会出现三个问号；用GBK构造字符串就会出现杂码，如a涓枃。


<script type="text/javascript"></script>