1、文本预处理技术分词：前向/后向最大匹配（max_len=5~10）有一个词典，基于匹配规则的方法，尽量匹配更多的字符。缺点：局部最优，歧义。考虑语义HMM,CRF......拼写纠错：编辑距离（一次insert\delete\replace），先生成编辑距离为1、2的字符串再过滤，返回最可能的结果。停用词过滤：去掉the,a等词，和某些低频词词干提取：go,going,went变成go,去掉s
NLP领域有四大顶会：每年举办的ACL、EMNLP、NAACL以及每两年举办一次的COLING。只要统计各大高校团队在顶会上发表的论文数量就能够对各单位的NLP能力略窥一二。
cs ranking这个网站能够查询全球各个机构和个人发表在各领域顶会的论文数量（姑且认为数据统计没有偏差）并根据论文数量进行了排名。我们只考虑国内地区NLP领域的数据统计，在Rank institutions 选项框
转载
2021-04-15 12:35:30
881阅读
使用复旦大学基准语料库所做的对比实验并非我本人进行的，我只是引用了文献“周文霞：现代文本分类技术研究，武警学院学报，2007.12”的实验结果。因此我手头没有该文作者所使用的预处理程序。但复旦大学的语料库在中科院中文自然语言处理开放平台上有提供下载，页面地址是，可能需要注册用户，待管理员审批完成之后方可下载。我已经下载了一份，训练集与测试集共100MB的样子，大家有需要的话也可以想办法分发给大家
转载
2009-01-04 23:11:00
186阅读
2评论
@公众号原创专栏作者 忆臻学校 | 哈尔滨工业大学 SCIR实验室博士生在读之前一个回答：说一下我了解的学校和实验室！排名不分先后，名单不全，欢迎补充~清华大学：孙茂松老师、刘知远 @刘知远老师、刘洋、朱小燕、李涓子、黄民烈等老师北京大学：王厚峰老师、孙栩老师，万小军等老师上科大 屠可伟中科院：宗成庆老师、张家俊老师、赵军老师、刘康、王斌、孙乐、韩先培等老师哈工大本部：刘挺老师、秦兵老师、车万翔老
转载
2022-12-15 17:29:38
478阅读
简介本文是一系列关于如何使用神经网络进行自然语言处理（NLP）的最佳实践汇集，将随着新观点的出现定期进行更新，从而不断提升我们对用于 NLP 的深度学习的理解。NLP 社区中有这样一句说法：带有注意力的 LSTM 能在所有任务上实现当前最佳的表现。尽管在过去的两年这确实是真的，NLP 社区却在慢慢偏离带有注意力的 LSTM，而去发现更有趣的模型。但是，NLP 社区并非想再花费两年独立地（重新
自然语言处理Part 3 hmm（隐马尔可夫模型） 文章目录自然语言处理前言隐马尔科夫模型一、基本定义二、两个重要假设三、主要解决问题四、维特比算法1.已知条件2.初始化局部状态3.动态规划递推4.回溯总结 前言作为因为科研需要刚开始接触机器学习、深度学习的菜鸟，看了关于某些算法大神的解释仍是似懂非懂，特在此记录学习过程，争取通俗易懂。隐马尔科夫模型为了便于理解，全文以实例贯穿。 假设我们有3个盒
案例目标：识别垃圾短信基于短信文本内容，建立识别模型，准确识别出垃圾短信，以及垃圾短信过滤的问题一、数据获取1、数据读取data = pd.read_csv('fileName', header=None, index_col=0) #读取数据
data.columns = ['label', 'message']2、数据抽取n = 5000 # 设置抽取5000条测试数据
# 国内NLP实验室介绍与技术应用
## 引言
自然语言处理（Natural Language Processing，NLP）是人工智能领域中的重要研究方向之一，它致力于使机器能够理解、分析和生成自然语言。在近年来，国内的NLP实验室蓬勃发展，取得了许多令人瞩目的成果。本文将介绍国内NLP实验室的背景、发展情况，并通过代码示例展示一些常见的NLP技术应用。
## 国内NLP实验室概述
国内
原创
2023-10-10 06:05:11
60阅读
1. 基本概念1. 1 语料库&词典一般语料库就是很多篇文章（可能一篇文章有好几句话，也可能只有一句话），在实际业务中，每篇文章一般要先进行分词词典：语料库中词的种类数，即有多少个词，一般用|V|表示树中根节点就是最上面那个，叶子结点就是结果（如分类的标签），结点泛指所有（包括根节点、叶子结点）2. 词向量：one-hot & 特征、标签的ont-hot编码2.1 词向量one-h
什么是自然语言处理自然语言处理是人工智能的一部分，人工智能还有其他部分：计算机视觉、知识表示和推理等。语言是人工只能中一个非常特殊的部分，因为语言是人类特有的属性，而对于计算机视觉来说，地球上有很多生物都有相当不错的视觉系统。因此自然语言处理被认为是人工智能核心技术之一。我们的目标是让电脑处理或理解人类的语言从而完成有意义的任务。它可以安排约会、买东西等或进行者智能回答比如siri等。语言有哪些层
面向中文自然语言处理的六十余类实践项目及学习索引，涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等，是供自然语言处理入门学习者的一个较为全面的学习资源，欢迎大家使用，并提出批评意见。 项目类型中文名称技术点技术博客技术落地与探索博客技术博客、技术探索与应用实践技术公众号
【人工智能】NLP自然语言处理NLP自然语言处理-第一节【NLP自然语言处理】电子书籍+PPT，关注作者后私信免费领取【免费】NLP-文本和词汇自然语言处理文本和词汇中国 成都C H E N G D U , C H I N A目录自然语言处理简介 文本和词汇 NLTK入门 搜索文本 计数词汇自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语
第一篇 Multitask Learning for Class-Imbalanced Discourse Classifification （多任务学习在类不平衡语篇分类中的应用） 它的作者：亚历山大·斯潘格，乔纳森·梅，沈士荣，邓灵佳 作者的单位：南加州大学(spangher, jonmay) ，彭博（美国财经资讯公司）。这篇论文的主要是多标签分类任务的讲，然后制作一定的神经结构模型，来帮助多
1、jieba扩展库（库描述，基本操作）2、文本词频统计实战（《三国演义》词频统计、人物统计）首先我们来了解一下中文分词的特点和难点： 【中文分词介绍】【中文分词特点】词是最小的能够独立活动的有意义的语言成分汉语是以字为单位，不像西方语言，词与词之间没有空格之类的标志指示词的边界分词问题为中文文本处理的基础性工作，分词的好坏对后续中文信息处理起关键作用【中文分词难点】分词规范，词的定义还
转载
2023-09-25 20:33:07
108阅读
以下推荐的几篇文章个人感觉非常不错。对于行业整体的把握以及行业发展动向的分析很有深度。 作者介绍：陈渝，清华大学老师，他也是skyEye的开发者，他的书《源代码开放的嵌入式软件分析与实践－－基于SkyEye和ARM开发平台》也不错，值得看看。 红色的标注是我写的一些简单的见解 很高兴有机会跟大家一起交流一下关于嵌入式领域的开源软件，先自我介绍一下，我叫陈渝，目前在清华大学计算机系当老师（博士后
自然语言处理综合应用系统 文章目录前言一、自然语言处理是什么？二、自然语言处理的内容三、自然语言处理综合应用系统1.自然语言处理包2.项目结构3.功能实现总结 前言研究生自然语言处理课程的大作业，不想写综述文章，就做了个系统自然语言处理综合应用系统，功能包括句法分析、文本分词、相似度检测、语义相似度检测、命名实体识别、语义角色标注、文本总结、简繁转换和词云 。提示：以下是本篇文章正文内容，下面案例
1. 自然语言概念自然语言，即我们人类日常所使用的语言，是人类交际的重要方式，也是人类区别其他动物的本质特征。但是我们只能通过自然语言与人交流，无法与计算机进行交流。 2. 自然语言处理自然语言处理，是人工智能的一部分，实现了人与计算机之间的有效通信。自然语言处理属于计算机科学领域与人工智能领域，其研究使用计算机编程来处理和理解人类的语言。 3. 应用场景情感分析（
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
225阅读
文章目录5.1 概率和语言模型5.1.1 概率视角下的word2vec5.1.2 语言模型5.1.3 将CBOW模型用作语言模型的效果怎么样？5.2 RNN5.2.1 循环神经网络5.2.2 展开循环5.2.3 Backpropagation Through Time5.2.4 Truncated BPTT5.2.5 Truncated BPTT的mini-batch学习5.3 RNN的实现5.
HMM模型介绍由隐状态序列，生成可观测状态的过程。 两个基本假设：第t个隐状态只和前一时刻的t-1隐状态相关，与其他时刻的隐状态无关。在任意时刻t的观测值只依赖于当前时刻的隐状态值，和其他时刻的隐状态无关。HMM模型参数转移概率：t时刻的隐状态qi转移到t+1时刻的隐状态qj的概率。发射概率：t时刻由隐状态qj生成观测状态vk的结果。初始隐状态概率：自然语言序列中第一个字o1的实体标记是qi的概率
