任务212:Entity Disambiguation (实体消歧)介绍

小米是公司还是吃的?

苹果是公司还是吃的?

实体消歧、实体统一、指代消解、句法分析_机器学习

实体消歧、实体统一、指代消解、句法分析_自然语言处理_02


根据左边的上下文找出左边的James Craig到底是右边(1)(2)(3)哪个James Craig

实体消歧、实体统一、指代消解、句法分析_语法树_03


有一个描述库(1)苹果:一种水果(2)苹果:一家公司

实体消歧、实体统一、指代消解、句法分析_自然语言处理_04


(1)问题的句子,实体前找20个词,实体后找20个词,然后用tf-idf

(2)解释整句话使用tf-idf

(3)比较相似度

或者在不同上下文中,计算苹果的词向量,然后计算余弦相似度

任务214:Entity Resolution(实体统一)

实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_05


一个人有不同的手机,如何知道不同手机是否属于同一个人?——发现组团欺诈

百度和百度有限公司?

同一个地址不同的写法?

任务215:实体统一算法

第一种方法:

实体消歧、实体统一、指代消解、句法分析_语法树_06


第二种方法:

基于规则的方法——通常见于地址、公司名的消歧

定义描述库——利用描述库把同一公司不同表示方法的公司名转化为原型(类似stemming)

实体消歧、实体统一、指代消解、句法分析_自然语言处理_07


第三种方法:监督学习方法

选取实体、实体上下文转化成特征

转化为二分类问题

实体消歧、实体统一、指代消解、句法分析_语法树_08


第四种方法:基于图

实体消歧、实体统一、指代消解、句法分析_自然语言处理_09

任务216:Co-reference Resolution(指代消解)介绍

实体消歧、实体统一、指代消解、句法分析_人工智能_10


(1)最简单的方法,离哪个实体近就指代谁

(2)有监督的方法

先打标签(张三,A)——>1

(李四,A)——>0

(张三,B)——>1

(李四,B)——>0

以张三、A为例,张三、张三左边的字符串、张三和A中间的字符串、A、A右边的字符串,全部用来提取特征(所有信息转化为向量的形式)

指代消解本身比较难还没有解决,实体消歧、实体统一比较简单,已经解决的问题

任务217: 什么是句法分析

实体消歧、实体统一、指代消解、句法分析_人工智能_11

语言模型:看到前面一系列单词,预测下一个单词

实体消歧、实体统一、指代消解、句法分析_语法树_12


句法树、语法树

任务218: 句法分析的应用

实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_13

从句法树提取一些特征出来
效果一般,特征太少的时候可以用

任务219: 语法

实体消歧、实体统一、指代消解、句法分析_机器学习_14


给定语法(左边),给定句子的情况下,如何生成好的语法树?

实体消歧、实体统一、指代消解、句法分析_语法树_15


原先翻译是中文句子,句法分析成为中文语法树,然后转化为英文语法树,再句法分析转化为英文句子。(缺点是中间需要很多语言学家)

现在直接端到端(中文句子——>英文句子)

任务220: PCFG

实体消歧、实体统一、指代消解、句法分析_自然语言处理_16


PCFG更常用,它考虑了转化的概率,概率可以从训练数据里面计算出来

任务221: 评估语法树

给定语法(PCFG),和一个句子,会生成不同的语法树,如何评判生成树的好坏?

给语法树打分!

实体消歧、实体统一、指代消解、句法分析_自然语言处理_17


Training data人工标记好树结构,统计的方式计算概率

任务222: 寻找最好的树

实体消歧、实体统一、指代消解、句法分析_机器学习_18

任务223: CNF Form

实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_19


dp算法:大问题转化为若干个子问题,子问题里面再选择其中最好的组合

实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_20


CKY算法:为了控制复杂度,只能转化成两个符号(三个符号不行,一个符号、空都是可以的)

实体消歧、实体统一、指代消解、句法分析_人工智能_21


CNF不仅仅包括二值化,CNF比二值化的条件更加严苛

(1)CNF不能出现e(空)

(2)不能出现两个以上的符号

(3)也不能出现一个符号

实体消歧、实体统一、指代消解、句法分析_自然语言处理_22


去掉e,即NP为空,带入原来的规则又创造了一系列的规则

实体消歧、实体统一、指代消解、句法分析_自然语言处理_23


去掉一个符号,S—>VP,可以把S看成VP,创造一系列规则接下来持续做

实体消歧、实体统一、指代消解、句法分析_人工智能_24


实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_25


实体消歧、实体统一、指代消解、句法分析_人工智能_26


实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_27


总结

CKY必须要符合Binarization,CNF不是必须的

任务224: CKY算法

这里的树向右转了45度

实体消歧、实体统一、指代消解、句法分析_贪心学院NLP训练营代码_28


在填写第一行第二列这个格子的时候的时候要同时考虑左下边的fish和people(第一行第一列这个格子、第二行第二列这个格子)

在填写第二行第三列这个格子的时候的时候要同时考虑坐下边的people和fish(第二行第二列这个格子、第三行第三列这个格子)

在填写第三行第四列这个格子的时候的时候要同时考虑坐下边的fish和tanks(第三行第三列这个格子、第四行第四列这个格子)

最后要连乘。。。并且当有两个分支左边一样的时候,考虑概率最大的!

在填写第一行第三列这个格子的时候的时候要同时考虑左下边的fish和people和fish(第一行第一列这个格子、第二行第二列这个格子,第三行第三列这个格子)(考虑上一步转化为同时考虑第一行第二列这个格子、第三行第三列这个格子或者是第二行第三列这个格子、第一行第一列这个格子)。。。

填第一行第四个格子的时候,考虑:
(1)第一行第三列这个格子、第四行第四列这个格子
(2)第一行第一列这个格子、第二行第四列这个格子
(3)第一行第二列这个格子、第三行第四列这个格子

实体消歧、实体统一、指代消解、句法分析_自然语言处理_29


正推过去,反推回来