0 项目背景

信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中,将讨论如何又好又快地实现一个简历信息提取任务。

作为该系列文章的第二篇,我们将通过paddlenlp.Taskflow提供的文本及文档通用信息抽取能力,实现开箱即用的简历信息抽取。

简历信息提取(一):PDFPlumber和PP-Structure

1 一键实体抽取

实体抽取,又称命名实体识别(Named Entity Recognition,简称NER),是指识别文本中具有特定意义的实体。在简历信息抽取任务中,用户可以自己定义实体类别,如姓名、出生日期、电话等。

我们可以使用PaddleNLP Taskflow API提供的开箱即用、适配多场景的开放域通用信息抽取工具Taskflow("information_extraction"),一键完成简历中常用实体信息的抽取。

代码地址:

关注微信公众号 datayx  然后回复 简历  即可获取。

简历信息提取二:PaddleNLP完成简历信息抽取_API

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_02

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_03

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_04

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_05

简历信息提取二:PaddleNLP完成简历信息抽取_API_06

简历信息提取二:PaddleNLP完成简历信息抽取_API_07

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_08

1.3 Taskflow API文档抽取

2023.1.12发布的PaddleNLP v2.5在产业信息抽取应用上的一个重大更新,就是发布文档信息抽取UIE-X,也就是说,Taskflow API支持的输入格式,不再只是文本内容,也可以是图片了。这对我们做简历信息抽取可是个好消息——如果我们收到的简历是扫描件、图片或者模板花里胡哨的文档,这下可以直接转为图片送给Taskflow API看看效果了,PaddleNLP已经贴心的帮我们把PaddleOCR集成好了!

简历信息提取二:PaddleNLP完成简历信息抽取_API_09

简历信息提取二:PaddleNLP完成简历信息抽取_API_10

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_11

简历信息提取二:PaddleNLP完成简历信息抽取_API_12

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_13

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_14

2 批量处理

实际业务中,公司的HR往往要面对堆积如山的简历,业务上显然没办法接受一个个文件进行实体抽取的,想要让AI成为HR筛选简历的得力小帮手,我们还需要对输出结果进行组织。在项目中,结合数据集的实际情况,我们设计的简历批量信息抽取思路如下:

  • 首先用户需要将简历文件按格式(word,pdf)分别放置在对应目录下
  • word格式的简历通过Taskflow API文本信息抽取得到实体信息
  • pdf或者图片格式的简历统一整理为jpeg格式,然后通过Taskflow API文档信息抽取得到实体信息
  • 将文件名、实体信息逐行存入excel文件中,便于HR做后续的人工补充和筛选工作

简历信息提取二:PaddleNLP完成简历信息抽取_API_15

2.1 word格式简历批量信息抽取

准备一个统一的简历信息抽取结果处理脚本,将Taskflow API提取的信息进一步按照schema进行归类。

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_16

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_17

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_18

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_19

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_20

2.2 PDF/图片格式简历批量信息抽取

下面我们再看看图片格式的信息抽取,整体的思路虽然大同小异,但是这里有个地方稍微复杂一些,就是要多一步判断下,目录里的文件是pdf还是jpeg格式。

另一方面,涉及到多页的pdf,每页信息都要试着提取下。

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_21

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_22

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_23

简历信息提取二:PaddleNLP完成简历信息抽取_特征工程_24


我们可以看到,即使是通过图片转换后再进行实体信息抽取,得到的简历信息还是挺完整的。看来,有PaddleNLP这个好帮手,到招聘季,HR们可以省下好多力气了!

简历信息提取二:PaddleNLP完成简历信息抽取_深度学习_25

简历信息提取二:PaddleNLP完成简历信息抽取_API_26

3 小结

在本项目中,我们使用PaddleNLP开放域信息抽取工具UIE Taskflow,开发了一个可以对Word、PDF、图片格式的简历文件进行批量信息提取的工具,生成的结果可直接供企业HR进行直接补充、筛选和加工。

当然,我们也可以发现,直接用现有的预训练模型,抽取结果还有不少缺失。在后续的项目中,我们尝试将基于项目使用的数据集,用PaddleNLP迁移学习,训练一个精度更高的简历信息抽取模型,并将其在线部署。