1.什么是NLP

CV NLP领域 nlp cv bi_机器翻译

 

2.NLP领域的挑战

(1)同一个意思有多种表达方式

CV NLP领域 nlp cv bi_机器翻译_02

(2)一词多义(Ambiguity)

CV NLP领域 nlp cv bi_语言模型_03

解决一词多义的问题方法：从数据中学习(结合上下文Context)

CV NLP领域 nlp cv bi_语言模型_04

 

3.机器翻译系统的案例

CV NLP领域 nlp cv bi_语言模型_05

 

上图的意思：根据表中的12对翻译结果，翻译所给出的一句话。

做法：给定语料库，在语料库中做统计，进行匹配(基于统计学)。

缺点：<1>慢  <2>上下文  <3>语义 <4>语法不对 <5>规则统计

4.机器翻译的常规步骤

CV NLP领域 nlp cv bi_语言模型_06

<1>分词

<2>根据词典翻译成英文(获得broken english)，将这些词对应的所有的组合罗列出来。

<3>将第2步所得的英文文本输入到语言模型LM中，得到对应的概率。

上述方法第2步罗列所有可能的计算量特别大需要优化。

CV NLP领域 nlp cv bi_多义_07

CV NLP领域 nlp cv bi_机器翻译_08

Viterbi算法：维特比算法是一个特殊但应用最广的动态规划算法(DP)

机器翻译框架总结：

CV NLP领域 nlp cv bi_机器翻译_09

 

 

5.语言模型

常用的语言模型：unigram、bigram、trigram

CV NLP领域 nlp cv bi_机器翻译_10

原理说明：利用马尔科夫假设对蓝色式子进行简化。

CV NLP领域 nlp cv bi_机器翻译_11

6.NLP的应用场景

<1>问答系统

CV NLP领域 nlp cv bi_语言模型_12

<2>情感分析(Sentiment Analysis)

CV NLP领域 nlp cv bi_CV NLP领域_13

CV NLP领域 nlp cv bi_机器翻译_14

<3>机器翻译

CV NLP领域 nlp cv bi_CV NLP领域_15

<4>自动摘要

<5>聊天机器人

CV NLP领域 nlp cv bi_语言模型_16

<6>信息抽取(Information extraction)

CV NLP领域 nlp cv bi_语言模型_17

7.NLP的关键技术

(1)NLP技术的4个维度

CV NLP领域 nlp cv bi_CV NLP领域_18

(2)分词(word segmentation)

CV NLP领域 nlp cv bi_机器翻译_19

(3)词性分析

(4)命名实体识别(Named Entity Recogniton)

(5)句法分析

CV NLP领域 nlp cv bi_多义_20

(6)依存分析

(7)关系抽取

CV NLP领域 nlp cv bi_机器翻译_21