Python中常用的html数据抽取方法有正则、XPath和BeautifulSoup这三种。其中，最常用的XPath库是lxml。今天再介绍一个库SimplifiedDoc，一起比较一下他们的优劣。
1、安装
名称
安装方法
包大小
说明
正则
不需安装(内置)
lxml
pip install lxml
4.5MB
依赖c语言库
BeautifulSoup
pip install beautifulsoup4
107kB
如果不使用第三方库，则不需要别的安装
SimplifiedDoc
pip install simplified-scrapy
43kB
没有第三方依赖
2、Python版本支持
这几种方法都同时支持Python2和Python3。
3、使用方法
对正则和XPath的使用方法，这里就不重复了，只简单对比下BeautifulSoup和SimplifiedDoc。下面的代码展示了两者实例化及提取数据的方法。
html = '''
Example Domain
test text
'''
# 例子：http://www.jsphp.net/python/show-24-214-1.html
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,features='html.parser')
soup = BeautifulSoup(html,features='lxml')
title = soup.title
# 取所有
divs = soup.findAll(id='test')
divs = soup.select('div#test')
# 取第一个
div = soup.find(id='test')
div = soup.select_one('div#test')
print (div.text)
# 例子：https://github.com/yiyedata/simplified-scrapy-demo/tree/master/doc_examples
from simplified_scrapy import SimplifiedDoc
doc = SimplifiedDoc(html)
title = doc.title
# 取所有
divs = doc.getElements('div',attr='id',value='test')
divs = doc.selects('div#test')
# 取第一个
div = doc.getElement('div',attr='id',value='test')
div = doc.select('div#test')
print (div.text)
在使用方法上，有相似的地方，也有不同的地方，但是都挺简单的。这里特别提一下SimplifiedDoc中的getElement方法，每个方法中都有三个可选的参数start=None,end=None,before=None。使用这三个参数，可以帮助定位需要抽取的数据，在合适的时候，可以使抽取很方便。
4、性能对比
在处理速度上，对于正则，处理速度快，并且是有针对性的只处理需要的数据，所以比较公认的是处理速度最快的方式，但是使用起来相对困难。下面只对比lxml、BeautifulSoup、SimplifiedDoc这三种方式。对比代码如下：
from lxml import etree
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc
import time
html = '''
Example Domain
Example Domain
This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.
'''
start = time.time()
for i in range(0,1000):
root = etree.HTML(html)
text = root.xpath('//h1/text()')[0]
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='html.parser')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='lxml')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
doc = SimplifiedDoc(html)
text = doc.h1.html
print (time.time()-start,text)
使用VSCode测试对比结果如下：
名称
调试模式耗时(单位：秒)
lxml
0.10795402526855469
BeautifulSoup(html.parser)
2.5450849533081055
BeautifulSoup(lxml)
2.236968994140625
SimplifiedDoc
0.25988101959228516
名称
非调试模式耗时(单位：秒)
lxml
0.12264490127563477
BeautifulSoup(html.parser)
0.799994945526123
BeautifulSoup(lxml)
0.7144896984100342
SimplifiedDoc
0.14832687377929688
不管调试模式或非调试模式，lxml的速度是最快的，SimplifiedDoc第二，BeautifulSoup第三。其中有一个奇怪的地方不知道是怎么回事，非调试模式下较调试模式下速度都相对提高，lxml却是变慢了。
5、总结
lxml不负众望速度是除正则外最快的，小众的SimplifiedDoc速度挺快，使用方法也简单，值得大家试用一下。
名称
安装难度
使用难度
速度
包大小
正则
无(内置)
困难
最快
无
lxml
一般
一般
快
大
BeautifulSoup
简单
容易
慢
较小
SimplifiedDoc
简单
容易
较快
小
