在互联网信息的时代，各种碎片化的信息接踵而至。记忆也是碎片的模式，跟以前的系统书本学习有很大的不同。不过也并不是没有什么好处，至少我们能够获取更多的信息。有些新兴的产业，就是需要大量的数据作为支撑，从而获取到新的商机。也就是所谓的时间就是金钱。爬虫在这方面的表现就很出色。今天小编就来带大家看看爬虫要学些什么吧。
一、Python 基础学习
首先，我们要用 Python 写爬虫，肯定要了解 Python 的基础吧，万丈高楼平地起，不能忘啦那地基，哈哈，那么我就分享一下自己曾经看过的 Python 教程，小伙伴们可以作为参考。
曾经有一些基础的语法是这里面看的，上面附有一些练习，学习完之后可以作为练习，感觉效果还是蛮不错的
二、Python urllib 和 urllib2 库的用法
urllib 和 urllib2 库是学习 Python 爬虫最基本的库，利用这个库我们可以得到网页的内容，并对内容用正则表达式提取分析，得到我们想要的结果。这个在学习过程中我会和大家分享的。
三、Python 正则表达式
Python正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它 “匹配” 了，否则，该字符串就是不合法的。
四、 爬虫框架 Scrapy
如果你是一个 Python 高手，基本的爬虫知识都已经掌握了，那么就寻觅一下 Python 框架吧，我选择的框架是 Scrapy 框架。这个框架有什么强大的功能呢？下面是它的官方介绍：
HTML, XML 源数据 选择及提取 的内置支持 提供了一系列在 spider 之间共享的可复用的过滤器 (即 Item Loaders)，对智能处理爬取数据提供了内置支持。 通过 feed 导出 提供了多格式 (JSON、CSV、XML)，多存储后端 (FTP、S3、本地文件系统) 的内置支持 提供了 media pipeline，可以 自动下载 爬取到的数据中的图片 (或者其他资源)。 高扩展性。您可以通过使用 signals ，设计好的 API (中间件，extensions, pipelines) 来定制实现您的功能。 内置的中间件及扩展为下列功能提供了支持: cookies and session 处理 HTTP 压缩 HTTP 认证 HTTP 缓存 user-agent 模拟 robots.txt 爬取深度限制 针对非英语语系中不标准或者错误的编码声明，提供了自动检测以及健壮的编码支持。 支持根据模板生成爬虫。在加速爬虫创建的同时，保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。 针对多爬虫下性能评估、失败检测，提供了可扩展的 状态收集工具 。 提供 交互式 shell 终端，为您测试 XPath 表达式，编写和调试爬虫提供了极大的方便 提供 System service, 简化在生产环境的部署及运行 内置 Web service, 使您可以监视及控制您的机器 内置 Telnet 终端 ，通过在 Scrapy 进程中钩入 Python 终端，使您可以查看并且调试爬虫。 Logging为您在爬取过程中捕捉错误提供了方便，支持Sitemaps爬取具有缓存的DNS解析器。
以上就是python爬虫知识简单的介绍以及学习的一些方向。几大模块都分享给大家，让小伙伴心理有个框架，学习资料的搜集方向也会给大家一个指引。看会了的小伙伴下一步就进行专项学习吧。
