注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】

文章目录

  • 自然语言处理系列二十一
  • 词性标注
  • 词性标注原理
  • 总结


自然语言处理系列二十一

词性标注

词性标注（Part-Of-Speech tagging, POS tagging）也被称为语法标注（grammatical tagging）或词类消疑（word-category disambiguation），是语料库语言学（corpus linguistics）中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术。
词性标注可以由人工或特定算法完成，使用机器学习（machine learning）方法实现词性标注是自然语言处理（Natural Language Processing, NLP）的研究内容。常见的词性标注算法包括隐马尔可夫模型（Hidden Markov Model, HMM）、条件随机场（Conditional random fields, CRFs）等。词性标注主要被应用于文本挖掘（text mining）和NLP领域，是各类基于文本的机器学习任务，例如语义分析（semantic analysis）和指代消解（coreference resolution）的预处理步骤。下面我们分别从原理和实战工具给大家详细讲解。

词性标注原理

所谓词性标注就是根据句子的上下文信息给句中的每个词确定一个最为合适的词性标记。比如，给定一个句子：“我中了一张彩票”。对其的标注结果可以是：“我/代词中/动词/了/助词/一/数词/张/量词/彩票/名词。/标点”。
词性标注的难点主要是由词性兼类所引起的。词性兼类是指自然语言中一个词语的词性多余一个的语言现象。词性兼类是自然语言中的普遍现象，例如下面的句子:S1=“他是山西大学的教授。”; S2=“他在山西大学教授计算语言学。”句子S1中，“教授”是一个表示职称的名词，而句子S2中“教授”是一个动词。对人来说，这样的词性歧义现象比较容易排除，但是对于没有先验知识的机器来说是比较困难的。词性兼类在汉语中很突出，据不完全统计，常见的词性兼类现象有几十种，这些兼类现象具有以下分布特征:l)在汉语词汇中，兼类词的数量不多，约占总词条的5一11%。2)兼类词的实际使用频率很高，约占总词次的40一45%。也就是说，也是常用的词，其词性兼类现象越严重。3)兼类词现象分布不均:在孙茂松等的统计中，仅动名兼类就占全部兼类现象的49.8%;在张民门的统计中，动名兼类和形副兼类就占全部113种兼类现象的62.5%。词性兼类的消歧常采用概率的方法，如隐马尔科夫模型。这些方法的有效性依赖于兼类词性的概率分布。但是有些兼类的词性的概率分布近似，特别是高频的词性兼类现象，如汉语的动词名词兼类，对于这些兼类现象，传统的概率方法很难奏效，如何解决这个问题目前词性标注面临的主要困难之一。

总结

此文章有对应的配套视频，其它更多精彩文章请大家下载充电了么app，可获取千万免费好课和文章，配套新书教材请看陈敬雷新书：《分布式机器学习实战》（人工智能科学与技术丛书）

【新书介绍】《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】 新书特色：深入浅出，逐步讲解分布式机器学习的框架及应用配套个性化推荐算法系统、人脸识别、对话机器人等实战项目

【新书介绍视频】分布式机器学习实战（人工智能科学与技术丛书）新书【陈敬雷】 视频特色：重点对新书进行介绍，最新前沿技术热点剖析，技术职业规划建议！听完此课你对人工智能领域将有一个崭新的技术视野！职业发展也将有更加清晰的认识！

【精品课程】《分布式机器学习实战》大数据人工智能AI专家级精品课程

【免费体验视频】：人工智能百万年薪成长路线/从Python到最新热点技术

从Python编程零基础小白入门到人工智能高级实战系列课

视频特色： 本系列专家级精品课有对应的配套书籍《分布式机器学习实战》，精品课和书籍可以互补式学习，彼此相互补充，大大提高了学习效率。本系列课和书籍是以分布式机器学习为主线，并对其依赖的大数据技术做了详细介绍，之后对目前主流的分布式机器学习框架和算法进行重点讲解，本系列课和书籍侧重实战，最后讲几个工业级的系统实战项目给大家。 课程核心内容有互联网公司大数据和人工智能那些事、大数据算法系统架构、大数据基础、Python编程、Java编程、Scala编程、Docker容器、Mahout分布式机器学习平台、Spark分布式机器学习平台、分布式深度学习框架和神经网络算法、自然语言处理算法、工业级完整系统实战（推荐算法系统实战、人脸识别实战、对话机器人实战）、就业/面试技巧/职业生涯规划/职业晋升指导等内容。

【充电了么公司介绍】

充电了么App是专注上班族职业培训充电学习的在线教育平台。

专注工作职业技能提升和学习，提高工作效率，带来经济效益！今天你充电了么？

充电了么官网http://www.chongdianleme.com/

充电了么App官网下载地址https://a.app.qq.com/o/simple.jsp?pkgname=com.charged.app