对于爬虫字符编码出现错误的终极解决

对于爬虫字符编码出现错误的终极解决

文章目录

引言

众所周知，网页在编写的时候，会采用不同的编码格式的，因此，在爬虫过程中，很容易就会出现字符编码的乱码的问题，这个问题是很令人烦恼的，但是，这里其实也有一个通用的方法来解决这个烦人的问题。

解决思路

我们想办法用一种通用的方法去直接获取到所要爬取的网页的具体编码格式，然后在根据这个编码格式进行转码即就可以了，从而也就避免了字符编码乱码的问题。

代码的实现

（我们采用 Jupyter Notebook 来实现该操作，当然了，后面会附上源码的，也可以使用Pycharm ）

1、代码实现

2、网页展示

3、源码

import requests
import re
# 导入库
url = 'https://www.taobao.com/'
# 构建URL
headers = {
    'user-agent': 
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'
}
# 构建请求头
response = requests.get(url=url, headers=headers)
# 发送请求
print(response)
import chardet
# 导入解决字符编码的库
print(chardet.detect(response.content))
# 查看字符编码
response.encoding = chardet.detect(response.content)['encoding']
# 设置字符编码
print(response.text)
# 直接打印文本

希望对大家有一点帮助啦~~~