之前提到，seq2seq的一大缺点是单一的语义向量难以表达长序列的完整语义，而改善这一问题的一个有效方法就是结合注意力机制，在不同的时刻针对输出计算包含不同语义的语义向量： 所谓注意力机制，本质上就是在分析过程中引入权重，在本文，我主要介绍两种注意力计算框架：原始的计算框架和multi-head attention，从原始的框架中又进一步划分为：soft attention（key=value）、
NLP-统计分词-隐马尔可夫模型实现一、HMM分词思想二、HMM模型构建1. 模型状态集合2. 观察状态集合3.观察状态和状态序列4. 状态转移概率分布矩阵5. 观测状态概率矩阵(发射概率)6. 初始概率7. 目标三、语料库四.python代码实现1. 初始化类2. 决定是否重新训练3. 初始化参数4. 输入的句子做标注5. 训练6. 维特比算法标注，根据标注分词7. 测试8. 结果 一、HMM
转载
2023-09-21 08:46:08
114阅读
14天阅读挑战赛NLP最著名的语言模型-BERT一、传统方法的问题例如我们采用RNN训练模型时，无法进行并行训练，下一步的输出依赖于上一步的输出结果，不能独立计算。 因此有的学者想将RNN模型进行改进，实现并行计算，从而提出了transformer。 传统的word2Vec遇到的问题是，训练好的词向量就再也不会变了。二、注意力机制Attention： 对于当前输入的数据的关注点是什么，如何让计算机
BERT（Bidirectional Encoder Representations from Transformers）是Google AI语言研究人员发表的最新论文。 它通过在各种各样的NLP任务中展示最新结果而引起了机器学习社区的轰动，其中包括问答（SQuAD v1.1），自然语言推理（MNLI）等。BERT的主要技术创新是将流行的attention model，Transformer的双向
转载
2023-08-18 15:33:47
96阅读
一文详解Google最新NLP模型XLNet语言模型和BERT各自的优缺点在论文里作者使用了一些术语，比如自回归（Autoregressive, AR）语言模型和自编码（autoencoding）模型等，这可能让不熟悉的读者感到困惑，因此我们先简单的解释一下。自回归是时间序列分析或者信号处理领域喜欢用的一个术语，我们这里理解成语言模型就好了：一个句子的生成过程如下：首先根据概率分布生成第一个词，然
转载
2023-09-01 14:15:38
255阅读
BERT(Bidirectional Encoder Representations from Transformers)是谷歌AI研究人员最近发表的一篇论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。它通过在各种各样的NLP任务中呈现最先进的结果，包括问答(SQuAD v1.1
前言：笔者之前是cv方向，因为工作原因需要学习NLP相关的模型，因此特意梳理一下关于NLP的几个经典模型，由于有基础，这一系列不会关注基础内容或者公式推导，而是更侧重对整体原理的理解。顺便推荐两个很不错的github项目——开箱即用的中文教程以及算法更全但是有些跑不通的英文教程。一. fasttext模型的目的以及预备知识fasttext是facebook提出的一个文本分类工具(也可用于词向量计算
转载
2023-08-29 21:45:52
200阅读
导语 | 在进行 NLP 模型评测时，我们通常会使用一些准确性指标去评价模型，例如 F1, MAP, ACC 等。虽然这些指标可以较为公正的评判模型的总体能力，但在对模型进行监控和优化时，有时需要知道更多的细化指标。本文以语义相似度模型为例，浅谈 NLP 可解释评测，希望与大家一同交流。文章作者：许元博、周磊，腾讯CSIG质量部评测研究员。一、背景如果一项 NLP 任务是考试，
1. CountVectorizerCountVectorizer类会将文本中的词语转换为词频矩阵。 例如矩阵中包含一个元素，它表示词在类文本下的词频。它通过fit_transform函数计算各个词语出现的次数，通过get_feature_names()可获取词袋中所有文本的关键字，通过toarray()可看到词频矩阵的结果。from sklearn.feature_extraction.text
BERT(Bidirectional Encoder Representations from Transformers) 是Google AI Language由2019年发表的工作，其在某种意义上开创了NLP领域的新纪元。其采用了Transformer中的encoder架构进行工作，主要做的是MLM以及next sentence predict两个任务，其在大量的无标号的数据上进行预训练，之后
1 为什么需要预训练模型 复旦大学邱锡鹏教授发表了一篇NLP预训练模型综述，“Pre-trained Models for Natural Language Processing: A Survey”，从多个角度分析了当前预训练语言模型。本文基于这篇文章来分析。邱老师认为预训练模型有三大优势预训练模型从大规模语料中学习知识，对下游任务帮助很大 预训练提供了一种更好的参数初始化方式，使得在目标任务上
转载
2023-11-20 08:29:10
73阅读
NLP项目主要流程1.分词(Word Segmentation)1.1 分词依靠词库常用开源分词工具：jieba, SnowNLP, LTP, HanNLP 1.2 分词算法：1.2.1 基于匹配规则的匹配：最大匹配（forward max-matching/background max-matching/双向最大匹配）：最大匹配算法 缺点： 1.陷入局部最优 ; 2.未考虑语义，可产生歧义，可在
转载
2023-10-31 18:03:28
40阅读
本篇文章主要介绍邱锡鹏老师在2020年发表的一篇预训练模型的综述：「Pre-trained Models for Natural Language Processing: A survey」 [1]。 该综述系统地介绍了nlp中的预训练模型。主要的贡...
转载
2020-12-02 10:59:00
375阅读
2评论
语言模型(LM)的作用是估计不同语句在对话中出现的概率，并且LM适用于许多不同的自然语言处理应用程序(NLP)。 例如，聊天机器人的对话系统。在此文中，我们将首先正式定义LM，然后演示如何使用实际数据计算它们。 所有显示的方法在Kaggle notebook中有完整的代码展示。一、语言模型(LM)的定义概率语言建模的目标是计算单词序列的语句出现的概率： &n
转载
2023-08-14 10:36:44
162阅读
1 NLTK和StandfordNLP简介NLTK：由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NLP 领
论文题目：An introduction to Deep Learning in Natural Language Processing: Models, techniques, and tools摘要深度学习技术在NLP中的应用；NLP研究中的主要资源，包括软件，硬件和受欢迎的语料库；主要局限性 一、简而言之如机器翻译，问答，摘要等。涉及模型，系统和算法的设计和实施，以解决理解人类语言的实际问
转载
2023-08-17 21:46:41
0阅读
目录语言模型1. 统计语言模型1.1 统计语言模型的基本公式(条件概率)1.2 马尔科夫假设：有限前序字符依赖约束条件的统计语言模型（n-gram）1.3 独立同分布假设：所有字符间都独立同分布的统计语言模型1.4 局部与整体假设：TF-IDF表示1.5 LSA :一种基于SVD矩阵奇异值分解的语义分析语言模型2. 神经网络语言模型（NNLM）2.1 分布式表征（distributed repr
转载
2023-08-17 09:07:39
217阅读
前言：笔者之前是cv方向，因为工作原因需要学习NLP相关的模型，因此特意梳理一下关于NLP的几个经典模型，由于有基础，这一系列不会关注基础内容或者公式推导，而是更侧重对整体原理的理解。顺便推荐两个很不错的github项目——开箱即用的中文教程以及算法更全但是有些跑不通的英文教程。一. RNN与RCNN的异同无论是RNN模型还是RCNN模型，数据如果不考虑bs维度的话，其实都只有两个维度。一个维度是
在我们使用bert预分类模型微调之后（可以参考我前面写的文章），需要对项目进行支持，那就需要分类模型落地提供服务，这篇文章介绍python调用bert模型，提供服务。 参考：https://github.com/xmxoxo/BERT-train2deploy 在后期部署的时候，需要一个label2id的字典，所以要在训练的时候就保存起来，在convert_single_example这个方法里增
转载
2023-07-08 11:37:13
202阅读
Input EmbeddingBERT Bert采用两阶段模型，首先是语言模型预训练，其次是使用 Fine-Tuning 模式解决下游任务。BERT 预训练模型分为以下三个步骤：Embedding、Masked LM、Next Sentence Prediction。Embedding 由三种 Embedding 求和而成： Token Embeddings 是词向量，第一个单词是 CLS 标志，
