#个人笔记!
#参考 http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start
#参考 http://cuiqingcai.com/1319.html
首先是安装:
1.到http://www.crummy.com/software/BeautifulSoup/网站上上下载
2.下载完成之后需要解压缩,假设放到D:/python下。
3.运行cmd,切换到D:/python/beautifulsoup4-4.1.3/目录下(根据自己解压缩后的目录和下载的版本号修改),
cd /d D:/python//beautifulsoup4-4.1.3
4.运行命令:
setup.py build
setup.py install
5.在IDE下from bs4 import BeautifulSoup,没有报错说明安装成功。
其次是使用:
1.三种对象
把爬下来的html网页装进beautifulsoup中,得到一个soup对象,接着就可以对soup对象进行操作分析,提取所需要的内容。整个html网页可以视为一棵树,最上面的结点就是html标签所表示的结点,可以通过类似于数据结构中树的关系访问整个html的各个节点。
除了soup对象外,还有tag对象和 navigablestring对象。tag对象就是各个标签所标记的对象,如html tag,body tag等。 navigablestring是最里层的对象,也就是说navigablestring内不含有任何标签。总结起来就是对网页的解析可以分为三种对象,soup对象,tag对象,navigablestring对象。
2.对结点的遍历
对结点有几种遍历方法。
1)用标签直接访问,soup对象.tag属性,就可以返回一个tag对象。如soup.body。
2)用contents和parents访问tag对象的直接子节点和直接父节点
3)用next和previous访问tag对象的下一个节点和上一个节点,按照深度优先的原则遍历
4)用 nextsibling和previoussibling访问下一个兄弟结点和上一个兄弟结点
navigablestring对象并没有这些方法。
3.对结点的搜索
对结点的搜索有两个方法,find和findAll。两个方法的一般使用方法就是提供标签关键字和字典关键字。
比如,现在要提取“NBA,虎扑nba中文网,nba为主的专业篮球网站,专注于最全的nba直播,nba视频,图片及原创及nba新闻....”这个标题,可以用以下代码:
soup.find('meta',name="description")['content']
find和findAll的区别在于,find只找到最近的一个复合要求的搜索项,而findAll则返回全部的结果,以ResultSet对象返回,这是一个类似于lis但是又不是list的对象,只能通过迭代去访问,而不能用索引访问。