字符串编码一直是令人非常头疼的问题,尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str
和bytes
两种数据类型,并且可以通过encode()
和decode()
方法转换,但是,在不知道编码的情况下,对bytes
做decode()
不好做。对于未知编码的bytes
,要把它转换成str
,需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”。
当然,我们肯定不能从头自己写这个检测编码的功能,这样做费时费力。chardet这个第三方库正好就派上了用场。用它来检测编码,简单易用。
代码如下:
import chardet #导包
f = open('new 2.txt','rb') #打开文件
for i in f: #取出内容,根据文件大小,可取一行进行判断
a = chardet.detect(i)
print a
f.close()
使用chardet检测编码非常容易,chardet支持检测中文、日文、韩文等多种语言。
虽然代码简单,但是对于ASCII和UTF-8编码检测貌似不太准确,具体看自己需要使用。