1. 语言模型2. Attention Is All You Need（Transformer）算法原理解析3. ELMo算法原理解析4. OpenAI GPT算法原理解析5. BERT算法原理解析6. 从Encoder-Decoder(Seq2Seq)理解Attention的本质7. Transformer-XL原理介绍1. 前言在机器学习领域，语言识别和图像识别都不太需要预处理就能喂给计算机，
转载
2023-09-18 13:53:38
242阅读
神经网络语言模型1.NNLM的原理1.1 语言模型假设S表示某个有意义的句子，由一串特定顺序排列的词组成，n是句子的长度。目的：计算S在文本中(语料库)出现的可能性P(S)。1.2 神经网络语言模型直接从语言模型出发，将模型最优化过程转化为求词向量表示的过程.2. NNLM的网络结构2.1 NNLM的结构图NNLM网络结构包括输入层、投影层，隐藏层和输出层2.2 NNLM的计算过程根据前面的n-1
转载
2023-08-11 13:50:40
134阅读
语言模型包括文法语言模型和统计语言模型。一般我们指的是统计语言模型。统计语言模型是指：把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。 其作用是为一个长度为m的字符串确定一个概率分布P（w1; w2; ...;wm），表示其存在的可能性。其中，w1~wm
语言模型简介（Language Model）简单的说，语言模型 （Language Model） 是用来计算一个句子出现概率的模型，假设句子 ,其中 代表句子中的第 个词语，则语句 W 以该顺序出现的概率可以表示为： 其中 , $p(w_n|w_1^{n-1}) = p(w_n|w_1,w_2,.
# 实现神经网络语言模型的流程
## 1. 确定模型结构和超参数
在实现神经网络语言模型之前，我们需要先确定模型的结构和超参数。模型结构包括网络的层数、每层的神经元数量以及激活函数的选择等。超参数则包括学习率、迭代次数、批处理大小等。
## 2. 准备数据集
神经网络语言模型需要大量的文本数据来进行训练。我们需要准备一个包含大量句子或文档的数据集。常见的数据集有PTB、WikiText等。
原创
2023-08-18 14:29:08
38阅读
vanillaRNN是相比于LSTMs和GRUs简单的循环神经网络，可以说是最简单的RNN。RNN结构RNN的一个特点是所有的隐层共享参数(U,V,W)，整个网络只用这一套参数。RNN前向传导st=tanh(Uxt+Wst−1)ot=softmax(Vst)st为t时刻隐层的状态值，为向量。 ot为t时刻输出的值（这里是输入一个xt就有一个输出ot，这个是不必要的，也可以在全部x输入完之后开始输出
在前面，我们分别使用逻辑回归和 softmax 回归实现了对鸢尾花数据集的分类，逻辑回归能够实现线性二分类的任务，他其实就是最简单的神经网络——感知机。 而softmax回归则实现的是多分类任务，它也可以看做是输出层有多个神经元的单层神经网络。 下面，使用神经网络的思想来实现对鸢尾花数据集的分类，这个程序的实现过程和 softmax 回归几乎是完全一样的。在使用神经网络来解决分类问题时，首先，要设
转载
2023-09-02 00:00:30
142阅读
神经网络算法是由多个神经元组成的算法网络。每一个神经元的作用是这样的：
输入是多个值，输出是一个值。
其会先将多个输入值线性组合，然后把线性组合得到的值进行非线性的映射（要求映射函数可微，因为在反向传播时需要其可导），如常见的非线性映射函数为Sigmoid函数：神经网络是多层的，每一层有多个神经元，上一层神经元的输出作为下一层每个神经元的一个输入。反向传播算法：输出层的神经元的输出和实际值有一定误
原创
2018-12-23 00:30:00
233阅读
1. 统计语言模型 （statistical model of language）统计语言模型中，把一段包含T个词的语料表示为w_t 表示第t个词，统计每个词在前面n个词出现的条件下的概率，用一幅图来表达就是：应用这个模型的时候，为了降低复杂度，基于马尔科夫假设（Markov Assumption）：下一个词的出现仅依赖于它前面的一个或几个词，上面的公式可以近似为：上面那张图就
1.常见的R-CNN系列 上图网络是自底向上卷积，然后使用最后一层特征图进行预测，像SPP-Net，Fast R-CNN，Faster R-CNN就是采用这种方式，即仅采用网络最后一层的特征。以VGG16为例子，假如feat_stride=16，表示若原图大小是1000600，经过网络后最深一层的特征图大小是6040，可理解为特征图上一像素点映射原图中一个1616的区域；那原图中有一个小于1616
转载
2023-10-27 02:41:59
96阅读
神经网络可以通过使用torch.nn包来构建。既然你已经了解了autograd，而nn依赖于autograd来定义模型并对其求微分。一个nn.Module包含多个网络层，以及一个返回输出的方法forward(input) 。例如，查看下图中的对数字图片分类的网络：这是一个简单的前馈网络。它接受输入，并将输入依次通过多个层，然后给出输出结果。 对于神经网络来说，一个经典的训练过程包括以下
转载
2023-08-11 22:28:51
78阅读
1人工神经网络人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信
卷积神经网络和普通神经网络非常类似。卷积神经网络由神经元组成，每个神经元包含权重weight和谝置bias；它接收上一层输入，和权重相乘，通常再经过一个非线性函数（可选）输出。整个网络拟合一个可微分的score function:从原始图像到每类别得分。在最后一层（全连接层）包含一个loss function（例如SVM/Softmax），常规神经网络用到的技巧，卷积神经网络通常也适用。架构总览上
转载
2023-08-27 01:10:06
469阅读
RNN 的前提补充 - 介绍 n-gram 和 fixed 窗口这两种方式的, 词预测原理.
原创
2022-08-22 13:33:10
203阅读
ANN简介作为深度学习的基础，神经网络模型发挥着很重要的作用。我们来看一下ANN的定义：神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出交互反应。我们知道，生物神经网络的简单单元由生物神经元组成，那么在ANN模型中，简单单元由什么组成呢？在经典ANN模型中，简单单元，即M-P神经元模型。我们知道感知机和Logistic回归都是线性分类模型，
转载
2023-08-28 19:27:33
97阅读
神经网络在机器学习中，神经网络一般指的是神经网络学习，是机器学习与神经网络两个学科交叉部分。所谓神经网络，目前用的最广泛的一个定义是：神经网络是由适应性的简单单元组成的广泛并行互连的网络，他的组织能模拟生物神经系统对真实世界物体所做出的交互反应。神经元模型神经网络中最基本的单元是神经元模型（neuron）。在生物神经网络的原始机制中，每个神经元通常都有多个树突（dendrite），一个轴突（axo
转载
2023-08-12 21:06:09
71阅读
前言过去的十多年中，神经网络在图像和文本等结构化数据中已经表现的十分出色。CNN，RNN，自编码器（Autoencoders）等很多流行的模型在以矩阵或向量作为输入的结构形式数据上都能很好地工作，我称这些结构化的数据为表格数据。而这些模型在非结构化数据上的表现怎样呢？比如最近大家在研究中频繁碰到的图结构数据，如果不将这些非结构化的图数据经过复杂的转换变为表格格式的话，使用传统的方法基本无从下手，那
大概学习了语言模型一个星期，只对语言模型停留在了刚刚开始了解的阶段，所以有什么问题还请大家多多指出，多多包涵。 本文会对各个语言模型的作用，缺点，主要内容进行讲解，若要对语言模型有深刻的认识，也会有很多很好的博客，本文也会附加一些博客的网址，我也是通过这些博客来学习语言模型的，然后总结出来这个博客。那我们就开始吧！ （加粗括号里的知识点属于插入的知识点，因为怕学习的时候弄混脑子里的对主干语言模型的
转载
2023-11-07 15:34:10
787阅读
所谓的语言模型，就是为了判断某个句子是不是人话，句子S是由多个词语wi构成的式子展开后，每一个因数P（条件概
原创
2022-12-14 16:25:14
1167阅读
一、前馈神经网络基本模型前馈神经网络是最基本的神经网络，其中的一些基本概念在神经网络的研究中被广泛的使用。一个前馈神经网络可以看做是一个函数 fθ:x→y 其中输入
x∈Rn，输出
y∈Rm，函数的行为通过参数
θ∈Rp 来决定。 构造一个神经网络，需要的各个要素如下：1、神经元模型神经元模型是构建神经网络的基本模块。神经元模型的要素如下：每个神经元的输入为一个向量 x∈Rn，输
转载
2023-08-08 13:30:42
224阅读
