背景

曾经几时，一个ONE 席卷了各类青年的手机。

这款APP

每天发布的一句话，一张图

它顺应这个快速且碎片化的时代，快捷，简洁

不同于各种味道的鸡汤

不同于质量参差不齐的散文

在ONE中，你不用去选择，每天的推送无感或者不喜欢就关闭软件，打动到内心就充其量截屏发个票圈

在其中

可能某个总结人生经验的一句话从而博得你的同感

无论是亲情友情或是爱情

可能在你某个失意时刻振奋你的生活

更加的努力和热爱生活

当然也可能让你更加明白现实以及负能量


多喝水

或许每一个现在手机中还有这个APP的同学，还有一个向往文艺的心。

网页介绍


ONE一个

这个网页简洁到略显简陋，明显快被时代所抛弃。

不过也难怪，网页版用户显然不是ONE的侧重方向。

当然，网页的UI设计和我们写爬虫没有什么关系。

网页分析


用chorme分析网页，利用Elements左边的小箭头可以快速跳转到文字在网页源代码的位置。

对所需数据反复点击，即可对网页构造内容有所了解，有利于后面对页面的解析。

利用Requests与Bs4爬取网页

导入requests包

import requests

如果没有包，利用pip下载到python即可。pip可以解决大多数python包的下载安装了。

python2:

pip install requests

本篇日记内容就是在python2环境下。

python3:

pip install requests

获取页面：

url = "http://www.wufazhuce.com/"
page = requests.get(url).content
print page


这样获得的内容就打印在控制台上，发现我们所需的数据就在该页面中。

解析页面

from bs4 import BeautifulSoup
soup = BeautifulSoup(page, 'html.parser')
for i in soup.find_all('div',class_ = 'item'):
onelist = i.find_all('a')
image = onelist[0].img['src']
word = onelist[1].text
infolist = i.find_all('p')
id = infolist[0].text
date = infolist[1].text+' '+infolist[2].text

BeautifulSoup做的工作就是对html标签进行解释和分类，不同的解析器对相同html标签会做出不同解释。

第一个参数是获取的页面

第二个参数是解析器

解析器常用的有三个：

html.parser

lxml

html5lib

python内部默认的解析器"html.parser"，其自动补全标签的功能还有很差，但是应付这个简单的网页没有任何问题。而“lxml”的解析速度非常快，对错误也有一定的容性。

“html5lib”对错误的容忍度是最高的，而且一定能解析出合法的html5代码，但速度很慢。

根据对网页的具体分析，以上解析逻辑：

搜索网页中class类型为‘item’的div，得到一个列表，其中一个元素就包括一天的数据信息。

解析一天的数据，检索其中所有a标签，得到一个由a标签组成的列表，在第一个a标签中获得当天的图片url；第二个a标签获取当天的一句话。

检索一天的p标签，其中第一个就是今天的id，而第二个标签就是年月日了。

循环列表，获取七天的数据。

保存数据为dict格式

list = []
soup = BeautifulSoup(page, 'html.parser')
for i in soup.find_all('div',class_ = 'item'):
onelist = i.find_all('a')
image = onelist[0].img['src']
word = onelist[1].text
infolist = i.find_all('p')
id = infolist[0].text
date = infolist[1].text+' '+infolist[2].text
data = {
'image':image,
'word':word,
'id':id,
'date':date
}
list.append(data)
for dict in list:
for key in dict:
print key, '：', dict[key]


这样我们就获取了七天内ONE模块中各种数据，保存为dict格式，无论是存为Json格式应用于web数据，还是存储于mongoodb，都十分的方便。

学习总结

今天学到requests，beautifulsoup的简单应用，爬取无需登录的无反爬虫的静态网页。

写到这一步，但就爬取ONE来说，其实还有很多爬取工作还未完成。

比如：

一个ONE网页中ONE文章，ONE模块还未爬取。

如何解决爬取过往数据，比如说一年内的数据，而不是网站上显示的7天。

数据保存到本地数据库或云端。