我们现实世界中很多问题其实都是可以模型化的，而为了更好的描述并解决问题，数学家们人为创造了很多符号方便我们理解客观世界的规律。根据以往数学建模的经历加上对神经网络的理解，我发现可以从“维度”的角度去理解神经网络。生活中的高维描述首先一般的几何思维都知道0维是一个点，一维是一天线，二维是一个平面，三维是一个立方体，那么四维是一开始伽利略发现的时间维，最后被牛顿总结，再被爱因斯坦进一步解释的广义相对论
转载
2023-12-08 15:50:57
111阅读
实现一个简单的神经网络架构，将 2 维的输入向量映射成二进制输出值。我们的神经网络有 2 个输入神经元，含 6 个隐藏神经元隐藏层及 1 个输出神经元。我们将通过层之间的权重矩阵来表示神经网络结构。在下面的例子中，输入层和隐藏层之间的权重矩阵将被表示为，隐藏层和输出层之间的权重矩阵为。除了连接神经元的权重向量外，每个隐藏和输出的神经元都会有一个大小为 1 的偏置量。我们的训练集由 m = 750
转载
2023-12-07 19:54:02
207阅读
“Does the Past Predict the Future?” ——《Economist》今天，我们来一起测试一下大名鼎鼎的深度神经网络DNN，依然使用我们常用的人工智能学
神经网络中的算子操作通常都是基于张量（Tensor）的运算，因此了解算子与张量之间的维度对应关系非常重要。以下是常见算子的张量维度对应关系：一）线性层 输入张量的维度为(batch_size, input_dim)，权重张量的维度为(input_dim, outp
转载
2023-10-28 16:08:09
0阅读
卷积层 输出维度的理解 卷积神经网络中，我们都知道一个输入后都会有一个卷积层(如果分离出RELU，还有一个激活层)，输入层和卷积核做卷积生成feature map。那这个feature map具体用来干啥呢？现在我们可以简单理解成提取向量特征，具体为什么能提取特征，又提取成什么特征，这个特征会不会有损图像画质。那具体维度概念怎么理解呢？那么输入层、卷积层、padding、tride之间的关系到底如
转载
2023-09-25 13:13:02
394阅读
前言用输入层，隐藏层，输出层组成了神经网络，把数据放入输入层，通过隐藏层，再到输出层，把训练的数据跟输出进行对比得出误差，把误差传回到隐藏层中训练各个层的参数。这是典型的神经网络的结果图：典型的神经网络用在了很多的场合中，比如分类上，也达到了很好的效果。但是如果输入层的参数太多，会出现怎样的一种情况？如下是用神经网络来识别手写数字：这是一个神经网络中常见的一个应用，如何用神经网络进行数字的识别？最
转载
2023-10-10 07:27:40
148阅读
引言不过虽然BNN在2016年就被正式提出，但在落地应用方面一直没有得到很好的重视，众多人认为这是因为在相同架构下的BNN相比于浮点的神经网络精度相差太多导致无法应用到真实场景，而目前应用最广泛的8-bit量化基本可以做到精度无损，甚至近两年4-bit量化也可以达到非常不错的效果，然而实际上一个模型架构能否落地应用应该从以下两方面进行考虑：速度-精度平衡(SAT, speed-accuracy t
作者 | 杨朔本文介绍一篇最新发表在ICLR2021 Oral上的少样本学习工作，他们尝试从数据分布估计的角度去缓解少样本学习中的过拟合现象，并提出通过分布矫正（估计）的方式弥合这种差距。链接：https://openreview.net/forum?id=JWOiYxMG92s代码：https://github.com/ShuoYang-1998/ICLR2021-Oral_Distributi
转载
2023-12-08 09:17:37
52阅读
前馈神经网络VS 反馈神经网络在深度学习领域，传统的前馈神经网络（feed-forward neural net，简称FNN）具有出色的表现，取得了许多成功，它曾在许多不同的任务上——包括手写数字识别和目标分类上创造了记录。甚至到了今天，FNN在解决分类任务上始终都比其他方法要略胜一筹。尽管如此，大多数专家还是会达成共识：FNN可以实现的功能仍然相当有限。究其原因，人类的大脑有着惊人的计算功能，而
转载
2023-08-11 09:24:43
86阅读
Deeplearning4j的数据是由一个叫做DataSet的对象传入网络进行训练的，DataSet由四个主要元素组成，Features，Labels，FeaturesMask，LabelsMask，这四个元素都是INDArray，即是N维矩阵或者叫做N维张量。一般来说是2-4维矩阵，分别对应全联接网络、RNN网络、CNN网络的输入。四个元素简单介绍如下：Features 特征，特征可以是N维矩阵
转载
2023-12-30 14:41:23
112阅读
Time convolution的全面理解前言一般来说，一维卷积神经网络的输入输出维度分别为：[batch_size,input_length,input_size] , [batch_size,output_length,output_size]由于 TCN 中的每一层具有相同的input_length和输出output_length，只有输入张量和输出张量的第三个维度(也就是input_siz
个人笔记，不喜勿喷。举例说明（结合pytorch，最后会给出代码）构建的网络nn.LSTM：（28,4,num_layers=2），即图中是4层输入lstm_input：维度是（10,3,28）初始化隐藏状态h_init：维度是（2,3,4）初始化初始化细胞状态c_init：维度是（2,3,4）计算结果out：维度是（10,3,4）计算后最后一个时间步h隐藏状态：维度是（2,3,4）计算后最后一个
转载
2024-01-05 22:47:07
90阅读
循环神经网络1. 循环神经网络1.1 什么是循环神经网络？1.2 循环神经网络的网络结构1.3 损失函数1.4 循环神经网络存在的问题2. LSTM2.1 LSTM 的网络结构2.2 LSTM 单元解读 1. 循环神经网络1.1 什么是循环神经网络？循环神经网络（Recurrent Neural Network , RNN）是专门用来处理序列数据的神经网络，它能够挖掘数据中的时序信息以及语义信息
转载
2023-09-25 21:39:22
5阅读
前言：我们前面将的各种循环神经网络的实现都是固定的时间步长的，即timesteps的长度是固定的，但是在实际问题中，这个往往是不固定的，为什么呢？因为文本数据在处理的时候，由于各样本的长度并不一样，有的句子长有的句子短 这就导致在timesteps上面是维度不固定的，这种数据该如何处理呢？这就是本文要说的重点了。目录一、大胆尝试，直接填充0行不行？二、tensorflow对于变长序列的处
转载
2023-11-29 18:54:02
330阅读
一、基本概念 1.张量张量就是多维数组，“阶”表示张量的维度0阶张量是一个单独的数，称为标量，如：S = 1231阶张量是一个一维数组，称为向量，如：V = [1, 2, 3]2阶张量是一个二维数组，称为矩阵，如：M = [[1, 2, 3], [4, 5, 6], [7, 8, 9]].......n阶张量，如：t = [[[[·····]]]···]]]
转载
2023-10-18 22:58:10
51阅读
文章目录一、CNN（卷积神经网络）二、ResNet（残差网络）总结 一、CNN（卷积神经网络）普通神经网络是由输入层、隐藏层、输出层组成，当参数过多，训练就会变的很慢，这个时候就可以减少参数。输入层：输入的不是一个特征，一个维度，而是一个长方体的矩阵（三维的）卷积层：提取特征。 举例：输入一个数据维度是7x7x3，7x7表示图像h=7，w=7，有三个通道。Filter W0表示先随机初始化一组权
目录1.循环神经网络1.1循环神经网络大致结构 1.2延时神经网络（Time Delay Neural Network，TDNN） 1.3按时间展开1.4反向传播1.5 梯度消失，梯度爆炸2.lstm门控原理3Matlab实现整个博文，原理和代码实现建议配合视频食用，口感更佳
LSTM长短期记忆网络从原理到编程实现 LSTM长短期记忆网络从原理到编程实现_哔哩哔哩_bil
转载
2023-10-17 14:10:12
224阅读
我们都知道神经网络中每一个隐层都有参数w和b，输入x首先要乘以w再加上b，最后传入激活函数就会得到这个隐层的输出。——但是，具体w是什么形状、它和x怎么乘、加上的b是在哪里之类的一直不是很清晰，因为在一些算法讲义里这一块一讲起来就容易用各种符号，看起来很复杂（虽然它并不难），而且这方面细节也并不耽误我们去定义和使用神经网络，所以就似懂非懂了。 但后来在学习推荐系统、wor
转载
2023-11-03 07:28:36
155阅读
卷积神经网络怎么生成图片？需要使用类似GAN的生成模型去做。望采纳GAN的基本原理其实非常简单，这里以生成图片为例进行说明。假设我们有两个网络，G（Generator）和D（Discriminator）。正如它的名字所暗示的那样，它们的功能分别是：G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x
转载
2023-10-10 21:50:47
118阅读
目录第二十四篇 可变长参数一、预备知识二、可变长形参1.可变长形参之*2.可变长形参之**三、可变长实参1.可变长实参之*2.可变长实参之**四、可变长参数的应用五、命名关键字形参六、总结第二十四篇 可变长参数一、预备知识1.可变长参数：指的是在调用函数时，传入的参数个数可以不固定**2.调用函数时，传值的方式无非两种，一种是位置实参，另一种是关键字实参，因此形参也必须得有两种解决方法，从此来分别
