嵩天 python电子版 嵩天python百度网盘

1.requests库入门
requests的get( )方法

在这里插入图片描述
爬取百度网页实例：
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.enconding = 'utf-8'
print(r.text)
爬取结果：

在这里插入图片描述
requests库的七个主要方法

image
requsets对象的属性

在这里插入图片描述
理解requests的编码

在这里插入图片描述
理解requests的异常

在这里插入图片描述

在这里插入图片描述
爬取网页的通用代码框架
import requests
def getHTMLText (url) :
try:
r = requests.get (url, timeout=30)
r.raise_for_status() # 如果状态不是200，引发HTTPError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ == "__main__"
url = "http://www.baidu.com"
print(getHTMLText(url))
理解put和pouch的区别

在这里插入图片描述
requests的head( )方法

在这里插入图片描述

用很少的网络流量获取概要信息
requests的post( )方法

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
requests.request
requests.request(method, url, **kwargs)
method：请求方式
**kwargs：控制访问的参数，均为可选项
1)params：字典或字节序列，作为参数增加到url中

在这里插入图片描述
2)data：字典、字节序列或文件对象，作为Request的内容

在这里插入图片描述
3)json：JSON格式的数据，作为Request的内容

在这里插入图片描述
4)headers：字典，HTTP定制头

在这里插入图片描述
5)cookies：字典或CookieJar, Request中的cookie
6)auth：元组，支持HTTP认证功能
7)files：字典类型，传输文件

在这里插入图片描述
8)timeout：定超时时间，秒为单位

在这里插入图片描述
9)proxies：字典类型，设定访问代理服务器，可以增加登录认证

在这里插入图片描述
10)allow redirects：True/False, 默认为True,重定向开关
11)stream：True/False, 默认为True,获取内容立即下载开关
12)verify：True/False, 默认为True,认证SSL证书开关
13)cert：本地SSL证书路径
2.爬虫之“盗亦有道”
robots协议
一般放置于网站的根目录下，用于告知网络爬虫爬取网站的相应准则。

在这里插入图片描述
3.requests库网络爬虫实战
1)爬取京东商品
import requests
url = 'https://item.jd.com/100007958768.html'
try:
r= requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print('爬取错误')
爬取结果

爬取结果
2)亚马逊商品爬取

在这里插入图片描述
在实际测试中，我们发现r.status_code的返回值不为200，即爬取错误，此时我们查看一下request的头部信息：

在这里插入图片描述
我们可以看到，在'user_Agent'中，我们忠实的告诉亚马逊服务器，我们这次网络访问，是由网络爬虫进行的。
此时，我们可以构造一个键值对，用于修改头部信息：
kv = {'user_Agent':'Mozilla/5.0'}
然后再用get函数进行访问，同时对头部信息进行修改：
r = requests.get(url,headers = kv)
然后再进行r.status_code，可以发现返回值为200
以下为全代码：
import requests
url = 'https://www.amazon.cn/dp/B075R5LCFY/ref=lp_658809051_1_1?s=books&ie=UTF8&qid=1569419053&sr=1-1'
try:
kv = {'user_Agent':'Mozilla/5.0'}
r= requests.get(url,headers = kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print('爬取错误')
3)百度/360搜索关键词提交
已知搜索引擎关键字的提交接口：

在这里插入图片描述
百度搜索引擎关键字提交：
import requests
try:
url = 'http://www.baidu.com/s'
kv = {'wd':'冬月枫'} #冬月枫是我女神
r = requests.get(url,params = kv)
r.raise_for_status()
r.enconding = r.apparent_encoding
print(len(r.text))
except:
print('爬取失败')
360搜索引擎关键字提交：
import requests
try:
url = 'http://www.so.com/s'
kv = {'q':'相泽南'} #相泽南是我另一个女神
r = requests.get(url,params = kv)
r.raise_for_status()
r.enconding = r.apparent_encoding
print(len(r.text))
except:
print('爬取失败')
4)网络图片的爬取与存储
import requests
import os
url = 'https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/三上悠亚.jpg'
root = 'D://三上悠亚//' #三上悠亚是我老婆
path = root + url.split('/')[-1] #路径为根目录 + 图片名
try:
if not os.path.exists(root) :
os.mkdir (root) #判断根目录存不存在，不存在则创建
if not os.path.exists(path) :
r = requests.get(url) #判断path是否存在，不存在则get请求捕获url
with open(path,'wb') as f:
f.write(r.content)
f.close() #写入文件(图片为二进制格式)
print("文件保存成功")
except:
print("爬取失败")
爬取结果：

在这里插入图片描述
5)IP地址归属地的自动查询
import requests
try:
r = requests.get('http://m.ip138.com/ip.asp?ip=202.204.80.112')
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失败")
爬取结果：

在这里插入图片描述