NLP 开发框架有哪些 nlp语言框架模式

转载

数据分析家 2024-01-08 22:44:56

文章标签 NLP 开发框架有哪些语言模型建模自然语言处理 文章分类 NLP 人工智能

什么是自然语言处理？

计算机可以根据人类语言建模成计算机可以理解的信息，并且可以将这些信息利用起来，实现一个有用的系统。

语言模型(Bi-Gram/Tri-Gram/N-Gram)

频率派：统计不同词汇出现频率，从而知道某个词汇之后出现下一个词的概率。放弃寻找语言中的规律，直接以概率的方式预测最有可能出现的词汇。

语言模型：用于评估文本符合语言使用习惯程度的模型。计算一句话出现的概率，随着句子长度增加，后续词的概率计算依存指数级增长。

N-Gram语言模型：基于概率的判别模型，输入是一句话，输出是这句话的概率，即这些单词的联合概率。

有一个 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些$ 个词组成的句子 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_02$ ，每一个单词 $NLP 开发框架有哪些 nlp语言框架模式_建模_03$ 都依赖于"第一个单词 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_04$ 到它之前一个单词 $NLP 开发框架有哪些 nlp语言框架模式_语言模型_05$ "的影响 $NLP 开发框架有哪些 nlp语言框架模式_建模_06$ 。

参数空间过大，数据稀疏严重。

N-Gram基本思想：将文本里的内容按字节大小为 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些$ 的滑动窗口操作，形成长度为 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些$ 的字节片段序列，每个片段称为gram。对所有gram的出现频率进行统计，并按事先设定好的阈值过滤，形成关键gram列表，也就是"文本的向量特征空间"，列表中的每一种gram就是一个特征向量维度。

[马尔科夫假设：在一段文本中，第 $NLP 开发框架有哪些 nlp语言框架模式_建模_09$ 个词出现只与前面 $NLP 开发框架有哪些 nlp语言框架模式_语言模型_10$ 个词相关，而与其他任何词都不相关。]

Markov Assumption：一个词的出现仅与它之前的若干个词有关

$NLP 开发框架有哪些 nlp语言框架模式_建模_11$

Bi-gram：一个词的出现仅依赖于它前面出现的一个词

$NLP 开发框架有哪些 nlp语言框架模式_建模_12$

Tri-gram：一个词的出现仅依赖于它前面出现的两个词

$NLP 开发框架有哪些 nlp语言框架模式_语言模型_13$

马尔科夫假设切断了上下文联系，语境间切换的情况。

如何计算N-Gram语言模型里的每一项条件概率：极大似然估计(模型一定参数未知;样本iid)，频率计算。

NLP 开发框架有哪些 nlp语言框架模式_建模_14

评价方法：迷惑度、困惑度、混乱度，基本思想是给测试集赋予较高概率值的语言模型较好。

$NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_15$

语料库和语言知识库

语料库(corpus)：存放语言材料的仓库；存放在计算机里的原始语料文本，经过加工后带有语言信息标注的语料文本。

腾讯中文语料库：中文词向量数据集包含800多万中文词汇，其中每个词对应一个200维的向量。

https://ai.tencent.com/ailab/nlp/data/Tencent_AILab_ChineseEmbedding.tar.gz

词法分析

将句子转换成词序列，并标记句子中词的词性。不同语言词法分析的任务有所不同。

英文词法分析：用空格隔开，无需分词；词的形态变化表示语法关系。(词识别、词形还原|未登录词处理|词性标注)

汉语词法分析：次与此紧密相连，没有明显的分界标志；词性变化少，靠词序或虚词来表示。(分词|未登录词识别|词性标注)

分词歧义-基于规则的方法[事先人工建好分词词典和规则库、最大匹配(MM)]；

基于统计的方法[字与字、词与词之间的同现频率作为分词的依据]

英文分词及词法分析nltk；

中文分词及词法分词jieba[分词模式:精确模式、全模式、搜索引擎模式；提取文本extract_tags；新建自定义分词器posseg]

TF-IDF：用于提取关键字。某个词很少见，但在这篇文章中频繁出现，则这个词可以反映这篇文章的特性。

$NLP 开发框架有哪些 nlp语言框架模式_建模_16$

$NLP 开发框架有哪些 nlp语言框架模式_语言模型_17$

TextRank算法：基于PageRank算法，用于为文本生成关键字和摘要。

PageRank算法：通过网页间超链接，计算网页重要性的技术。把整个互联网看成一个有向图，网页看成有向图里的节点，网页之间的超链接看成有向图中的边。

$NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_18$

$NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_19$ 表示当前网页 $NLP 开发框架有哪些 nlp语言框架模式_建模_20$ 的重要性， $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_21$ 是阻尼系数(一般 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_22$ )， $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_23$ 指向当前网页 $NLP 开发框架有哪些 nlp语言框架模式_建模_20$ 的链接的节点(网页)集合， $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_25$ 从节点(网页) $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_26$ 出发的边指向其余节点(网页)的集合。遍历所有指向网页 $NLP 开发框架有哪些 nlp语言框架模式_建模_20$ 的网页 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_26$ ，拿到 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_26$ 的权重 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_30$ ，如果认为 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_26$ 中只有一个网页指向 $NLP 开发框架有哪些 nlp语言框架模式_建模_20$ ，则相对于 $NLP 开发框架有哪些 nlp语言框架模式_建模_20$ 而言， $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_26$ 的重要性 $NLP 开发框架有哪些 nlp语言框架模式_建模_35$ 。初始化所有网页的重要性 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_36$ 。

TextRank算法：默认节点是句子，权值 $NLP 开发框架有哪些 nlp语言框架模式_建模_37$ 是两个句子 $NLP 开发框架有哪些 nlp语言框架模式_建模_38$ 和 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_39$ 的相似程度。

两个句子相似度 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_40$

TestRank在PageRank的基础上，为图中的边引入权值的概念：

$NLP 开发框架有哪些 nlp语言框架模式_语言模型_41$

$NLP 开发框架有哪些 nlp语言框架模式_语言模型_42$ 是图中节点 $NLP 开发框架有哪些 nlp语言框架模式_建模_43$ 到 $NLP 开发框架有哪些 nlp语言框架模式_建模_44$ 的边的权值，其余同上。

基于TextRank提取关键词的主要步骤：

(1)把给定的文本T按照完整句子进行分割;

(2)对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词等。这些词形成候选关键词;

(3)构建候选关键词图G = (V,E)，其中V为节点集，由(2)生成的候选关键词组成，然后采用共现关系(co- occurrence)构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现;

(4)根据PageRank原理中的衡量重要性的公式，初始化各节点的权重，然后迭代计算各节点的权重，直至收敛;

(5)对节点权重进行倒序排序，从而得到最重要的T个单词，作为候选关键词;

(6)由(5)得到最重要的T个单词，在原始文本中进行标记，若形成相邻词组，则组合成多词关键词

细分领域分词工具pkuseg

句法分析

确定句子的句法结构，或句子中词汇间的依存关系。

1.短语结构分析(句法结构分析):a.完全句法分析 b.局部句法分析

2.依存关系分析

完全句法分析：短语结构树，确定句子包含的全部句法信息，句子中各成分的关系

局部句法分析：只要求识别句中某些结构相对简单的独立成分

依存关系分析：依存结构词

依存关系分析工具spacy

语义分析

语义分析包含词语语义分析和句子语义分析

一、词语语义分析:

词语相似度：两个词语在不同的上下文中可以互相替换使用，而不改变文本的句法语义结构的程度。在不同的上下文中，可以互相替换且不改变文本的句法语义结构的可能性越大，二者的相似度就越高。对词语相似度影响最大的是词的语义。

词语距离：与词语相似度反相关，距离为0，相似度为1；距离无穷大，相似度为0。

$NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_45$

其中 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_46$ 是一个可调节参数，表示当相似度为 $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_47$ 时的词语距离。

词语相关性：反映两个词语互相关联的程度，两个词语在同一个语境中"共现"的可能性。

词语相似性——词语之间的聚合特点，词语相关性——词语之间的组合特点。A与B相似度高，则"A与C的相关性"和"A与B的相关性"也很接近；A、B都与其余词语的相关程度很接近，则A与B的相似度很高。

相关性计算方法：利用外部知识(词典)构建"语义分类树形图"，节点间路径长。或概念层次树的深度、概念层次树的区域密度。

二、句子语义分析：

句子相似度：计算不同句子(语义)相似程度。应用包括多文档自动摘要、自动问答。从语句的分析深度区分，有两种方法：基于向量空间模型的方法、对语句进行完全的句法与语义分析。

（1）基于向量空间模型的方法：把句子看成词的线性序列，利用句子的表层信息——组成句子的词的词频、词性等信息，不考虑句子整体结果的相似性。每个词可以通过tf-idf算出词频，一句话即转化成一个向量，一篇文章就转化成一个向量空间。

（2）对语句进行完全的句法与语义分析：比较句子的生成句法和语义，并在此基础上进行相似度计算。

利用语义依存结构，计算句子的相似度。有效搭配对：只考虑关键成分。

NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_48

进一步，利用知网(Hownet)对词做"义元分析"，即"送往"和"送到"的义元编号相同。

词向量

用向量的形式表示自然语言中的词的方法。

One-hot Representation：维灾，词汇鸿沟(词义关系丢失)。

Distributed Representation(Word Embedding)：通过模型训练出的低维分布式向量表示词，相似词向量距离相近。

NNLM模型：

NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_49

假设一个语料库有10w个词，那么NNLM要做的事情：定义一个滑动窗口，比如这个滑动窗口大小是3，滑动窗口会遍历整个语料库，每次输入3个词，然后预测下个词。上图，输入的3个词分别就是: $NLP 开发框架有哪些 nlp语言框架模式_NLP 开发框架有哪些_50$ ，预测的词就是 $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_51$ 。NNLM的目标：将语料库中的10w个词通过稠密的向量矩阵来表示，上图中是 $NLP 开发框架有哪些 nlp语言框架模式_建模_52$ 。一般的神经网络训练数据时通过反向传播算法优化神经网络中的参数，从而让输出层输出预期结果；而 NNLM不同，通过反向传播算法优化的这些参数 $NLP 开发框架有哪些 nlp语言框架模式_建模_52$ 是最终想获得的语料库中词的词向量。

word2vec模型：用于生成词向量的计算模型，可以很好的度量不同词之间的相似性。将训练出来的向量映射到高维空间，就可以看出词汇之间的关系。具体实现包含CBOW模型和Skip-gram模型，在数据量比较小的情况使用CBOW模型效果较好，在数据量非常大的时候使用Skip-gram模型效果更好。

NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_54

（1）使用双向的滑动窗口获得词的稠密向量，这个稠密向量一开始随机初始化，在训练的过程中优化它这里是副文本；（2）去掉NNLM中的投影层和隐藏层，对输入层输入的稠密向量，进行简单的求和或者求平均；（3）与输出层进行全连接，通过层次的softmax将输出层的数据转换为概率分布，与真实的概率进行对比，优化CBOW模型的输入，最小化两个概率分布的差距(损失)

层次softmax：使用Huffman编码树来编码输出层的词典，压缩计算量(只需计算路径上的所有非叶子节点向量的贡献度)，计算量为树的深度( $NLP 开发框架有哪些 nlp语言框架模式_自然语言处理_55$ )

负例采样：输出层的维度过高，导致计算太过复杂，而最终结果只有一个是正确答案(即我们要的那个词，其余词都是错误答案)。如果一个语料库大小是10W，即由10W个词构成的，那么输出层就要有10W维，而10W维里只有1个是正确答案，其余10W-1个都是错误答案。在训练时，我们并不需要那么多错误答案，只需要从中抽取一些错误答案组成一个低维的向量用来训练模型。比如，我们只要一个500维的向量，那么只需要从10W-1个错误答案中抽取499个错误答案(负例)。抽取原则：词频越高的词，越容易被采样到。将长度为1的线段分成N份，不同的词频所占的比例不一样，然后投骰子，骰子落在哪个区间，如果是正例，再投；如果是负例，就把该负例取出来，直到拿到499个负例。

NLP 开发框架有哪些 nlp语言框架模式_语言模型_56