任务:将一个一千多页的pdf中的表格数据提取出来,拼接成html表格,以便在富文本中更好查看
pdf中的表格如图所示
步骤
1.其中有些表格是跨页的(即同一张表格不在同一个页面),像上面的第一个表格就是属于跨列,如果不做判断,获取到的原属于同一个表格的就会分开了,所以要把属于同一个表格的拼接起来。
2.所有表头都是相同的,所以处理时候遇到表头就把上个表格内容存进数据库。
3.因为我们想要的表格是从30页开始,最后一页结束,所以这两页要特殊处理。
4.还有个需求,把表格第二列"搜素打开菜单"中的内容提取出来存进数据库的另一个字段,如:搜索打开菜单:【有价卡换卡】中的有价卡换卡。
代码
代码如下:
因为我有django项目,为了方便点,所以我直接就在项目里写一个路由(部分代码省略)用orm操作数据库,也可以自己修改成用原生操作数据库的方法存进数据库。
#将pdf中的测试步骤表格数据提取出来存进数据库
importpdfplumber, timefrom .models import ScenarioInfo #这里是引入模型中的ScenarioInfo表
with pdfplumber.open(r‘C:\Users\hisoft\Desktop\(2019-09-25)_21460.pdf‘) as pdf:
m= 0 #测试步骤表格的数量(按表头数算)
s = ‘
for i in range(29, len(pdf.pages)): #从第30页开始获取表格数据
page = pdf.pages[i] #设置操作页面
n = 1 #当前页的第n个表格
for table inpage.extract_tables():
k=Truefor row inrange(len(table)):ifstr(table[
row])== r"[‘Step‘, ‘案例步骤‘, ‘预期结果‘, ‘测试信息‘, ‘耗时(秒\n)‘, ‘结果‘]": #这是根据表格行内容判断是否是一个新的表格开头,因为表头内容都是固定的
if i == 29 and n == 1: #判断是否是第30页的第一个表格
pass
else:
s+= ‘
‘
print(‘i=‘, i)#print(‘s=‘, s)
#print(‘mjcd=‘, mjcd)
m += 1ScenarioInfo.objects.create(test_steps=s, lrry=‘哈哈哈‘, mjcd=mjcd) #存进数据库,s是拼接好的表格字符串,富文本会识别表格标签显示
time.sleep(0.6)
mjcd= ‘‘s= ‘
for j inrange(len(table[row])):if j == 0: #判断是否是当前行的第一列
s += ‘
‘s+=table[row][j]if j == 1: #判断是否是当前行的第二列,将末级菜单取出来,若碰到有多个末级菜单的只取第一个
ifk:if len(table[row][j].split(‘搜索打开菜单:【‘)) > 1:
mjcd= table[row][j].split(‘搜索打开菜单:【‘)[1].split(‘】‘)[0]
k=Falseif j == len(table[row]) - 1: #判断是否是当前行的最后一列
s += ‘
‘
else:
s+= ‘
‘
if i == len(pdf.pages) - 1: #判断是否是最后一页
if n == len(page.extract_tables()): #判断是否是最后一个表格
for row inrange(len(table)):if row == len(table) - 1: #判断是否是当前表格的最后一行
for j inrange(len(table[row])):if j == len(table[row]) - 1: #判断是否是当前行的最后一列
s += ‘
‘
print(‘i=‘, i)print(‘end_s=:‘, s)
m+= 1
print(‘m=‘, m)print(‘mjcd=‘, mjcd)
ScenarioInfo.objects.create(test_steps=s, lrry=‘哈哈哈‘, mjcd=mjcd) #存进数据库
n += 1