简介:通过 requests
类库的学习,理解 HTTP
基本原理,并能够纯熟地使用 requests
和 Github API
进行数据交互。除此之外,你还能够获得诸如 HTTP
认证,Oauth
授权等进阶知识和技能
1. 走进 Requests 库
1.1 Requests 库 – 学习路线图
- 总体介绍
– 背景,相应的软件,布置环境 - HTTP 基本原理
– Request 库建立在 HTTP 协议的上面 - 发送请求 Request
- 接受响应 Response
- 进阶话题
1.2 认识 Requests 库
1.3 学好 Requests 库的意义
- 这是一个 Web 时代, Web as a DB
- 爬虫必备法器,定期在微博上爬妹子数据,获取第一手资讯
- 服务器编程基础( Restful API )
- 自动化测试的工具箱
1.4 Requests 库 – 环境准备
- gunicorn
- Request
- httpbin
- Virtualenv
- Pip
- Python
2. 了解 HTTP 协议
2.1 Requests 库 – 了解 HTTP 协议原理
了解 Request
请求:
了解 Response
请求:
了解 message body
:
2.2 Requests 库 – 简单的小程序 – urllib
2.2.1 使用 urllib
urllib
,urllib2
,urllib3
是进化关系吗?
不是,urllib
和 urllib2
是相互独立的模块
requests
库使用了 urllib3
,(多次请求重复使用一个 socket
)
2.2.2 使用 requests
2.3 Requests 库 – 简单的小程序 – requests
3. 发送请求
3.1 Requests 库 – 请求方法
3.2 Requests 库 – 带参数的请求
3.3 Requests 库 – 请求异常处理
3.4 自定义 Request
4. 处理响应
4.1 Requests 库 – 响应基本 api
4.2 Requests 库 – 下载图片
4.3 Requests 库 – 事件钩子
5. 进阶话题
5.1 Requests 库 – HTTP 认证
5.2 Requests 库 – Proxy 代理
5.3 Requests 库 – Session 和 Cookies