fastNLP工具包，快速实现序列标注模型

转载

datayx 2022-04-18 17:17:32

文章标签 图像识别人工智能深度学习自然语言处理编程语言 文章分类 NLP 人工智能

向AI转型的程序员都关注了这个号????????????

人工智能大数据与深度学习

公众号：datayx

fastNLP是一款轻量级的自然语言处理（NLP）工具包，目标是快速实现NLP任务以及构建复杂模型。

fastNLP具有如下的特性：

统一的Tabular式数据容器，简化数据预处理过程；
内置多种数据集的Loader和Pipe，省去预处理代码;
各种方便的NLP工具，例如Embedding加载（包括ELMo和BERT）、中间数据cache等;
部分数据集与预训练模型的自动下载；
提供多种神经网络组件以及复现模型（涵盖中文分词、命名实体识别、句法分析、文本分类、文本匹配、指代消解、摘要等任务）;
Trainer提供多种内置Callback函数，方便实验记录、异常捕获等。

安装指南

fastNLP 依赖以下包:

numpy>=1.14.2
torch>=1.0.0
tqdm>=4.28.1
nltk>=3.4.1
requests
spacy
prettytable>=0.7.2

其中torch的安装可能与操作系统及 CUDA 的版本相关，请参见 PyTorch 官网。在依赖包安装完成后，您可以在命令行执行如下指令完成安装

pip install fastNLP
python -m spacy download en

fastNLP教程

中文文档、教程

快速入门

0. 快速入门

详细使用教程

1. 使用DataSet预处理文本
2. 使用Vocabulary转换文本与index
3. 使用Embedding模块将文本转成向量
4. 使用Loader和Pipe加载并处理数据集
5. 动手实现一个文本分类器I-使用Trainer和Tester快速训练和测试
6. 动手实现一个文本分类器II-使用DataSetIter实现自定义训练过程
7. 使用Metric快速评测你的模型
8. 使用Modules和Models快速搭建自定义模型
9. 快速实现序列标注模型
10. 使用Callback自定义你的训练过程

扩展教程

Extend-1. BertEmbedding的各种用法
Extend-2. 分布式训练简介
Extend-3. 使用fitlog 辅助 fastNLP 进行科研

内置组件

大部分用于的 NLP 任务神经网络都可以看做由词嵌入（embeddings）和两种模块：编码器（encoder）、解码器（decoder）组成。

以文本分类任务为例，下图展示了一个BiLSTM+Attention实现文本分类器的模型流程图：

fastNLP工具包，快速实现序列标注模型_自然语言处理

fastNLP 在 embeddings 模块中内置了几种不同的embedding：静态embedding（GloVe、word2vec）、上下文相关embedding （ELMo、BERT）、字符embedding（基于CNN或者LSTM的CharEmbedding）

与此同时，fastNLP 在 modules 模块中内置了两种模块的诸多组件，可以帮助用户快速搭建自己所需的网络。两种模块的功能和常见组件如下:

fastNLP工具包，快速实现序列标注模型_编程语言_02

fastNLP的大致工作流程如上图所示，而项目结构如下：

fastNLP工具包，快速实现序列标注模型_自然语言处理_03 序列标注

这一部分的内容主要展示如何使用fastNLP实现序列标注(Sequence labeling)任务。您可以使用fastNLP的各个组件快捷，方便地完成序列标注任务，达到出色的效果。在阅读这篇教程前，希望您已经熟悉了fastNLP的基础使用，尤其是数据的载入以及模型的构建。通过这个小任务，能让您进一步熟悉fastNLP的使用。