基本功能：生成loss图片，保存到log日志的同一目录下，取名与log文件一致；内容涉及正则化&plot画
原创
2023-02-23 12:34:30
346阅读
写这篇博客的原因主要是为了总结下在深度学习中我们常会遇到的一些问题，以及不知道如何解决，我准备把这个部分作为一个系列，为了让大家少走一些坑，对于本博客有什么错误，欢迎大家指出，下面切入正题吧。1. 深度学习，一个令人头疼的问题就是如何调参?简而言之，如果数据集复杂的话，那么就要增加网络的层数，模型欠拟合了，加节点。2. 关于验证集的loss曲线和acc曲线
1前言训练深度学习模型，就像“炼丹”，模型可能需要训练很多天。我们不可能像「太上老君」那样，拿着浮尘，24 小时全天守在「八卦炉」前，更何况人家还有炼丹童、天兵天将，轮流值守。人手不够，“法宝”来凑。本文就盘点一下，我们可以使用的「炼丹法宝」。2初级“法宝”，sys.stdout训练模型，最常看的指标就是 Loss。我们可以根据 Loss 的收敛情况，初步判断模型训练的好坏。如果，Loss 值突然
转载
2023-10-07 19:04:33
772阅读
第一种方法：重定向训练日志文件 我们在训练的时候会用到caffe/buile/tools/caffe 这个里面的train这个选项。在输入之后，正常会显示训练日志的详细信息。想要画出这里面显示的loss和accuracy图，就可以把这些输出的日志内容重定向到一个文件内，然后利用shell命令检索出其中的loss和accuracy值，再将其画出就行了。 这里需要注意的是，重定向的方式是在命令的后面
PyTorch中一般约定是使用.pt或.pth文件扩展名保存模型，通过torch.save保存模型，通过torch.load加载模型。torch.save和torch.load函数的实现在torch/serialization.py文件中。 这里以LeNet5模型为例进行说明。LeNet5的介绍过程参考：
【学习笔记】Pytorch深度学习—损失函数（一）损失函数概念交叉熵损失函数其他损失函数NLL、BCE、BCEWithLogits Loss 前面学习了如何构建模型、模型初始化，本章学习损失函数。本章从3个方面学习，（1）损失函数的概念以及作用；（2）学习交叉熵损失函数；（3）学习其他损失函数NLL、BCE、BCEWithLogits Loss损失函数概念损失函数：衡量模型输出与真实标签的差异。
转载
2023-10-08 21:26:27
687阅读
Original url:Loss曲线震荡:分析原因: 1:训练的batch_size太小1. 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。2. batch的选择，首先决定的是下降方向，如果数
pytorch实现的loss function1.均方损失函数2. 交叉熵损失函数3、自定义损失函数1、关于nn.Module与nn.Functional的区别2、自定义损失函数 神经网络主要实现分类以及回归预测两类问题对于分类，主要讲述二分类交叉熵和多分类交叉熵函数,对于回归问题，主要讲述均方损失函数，而对于一些回归问题，需要根据特殊情况自定义损失函数。1、所有的loss的基类是Module，
Caffe自带工具包---绘制loss和accuracy曲线 为什么要绘制loss和accuracy曲线？在训练过程中画出accuracy 和loss曲线能够更直观的观察网络训练的状态，以便更好的优化网络的训练。本文主要介绍在基于caffe框架训练网络时，利用caffe自带的工具包来绘制曲线。caffe中自带小工具： caffe-master/tools/extra/parse_log.sh，
第一步保存日志文件，用重定向即可： $TOOLS/caffe train --solver=$SOLVERFILE 2>&1 |tee out.log 第二步直接绘制： python plot_training_log.py 2 testloss.png out.log 这个plot_training_log.py在这个目录下caffe-fast-rcnn/tools/ext
过拟合欠拟合
原创
2021-12-29 18:22:22
998阅读
Python 绘制 loss 曲线、准确率曲线使用 python 绘制网络训练过程中的的 loss 曲线以及准确率变化曲线，这里的主要思想就时先把想要的损失值以及准确率值保存下来，保存到 .txt 文件中，待网络训练结束，我们再拿这存储的数据绘制各种曲线。其大致步骤为：数据读取与存储 - > loss曲线绘制 - > 准确率曲线绘制一、数据读取与存储部分我们首先要得到训练时的数据，以损
转载
2023-10-14 18:26:47
752阅读
前言pytorch 中的损失函数：CrossEntropyLossLogSoftmaxNLLLossSoftmax在多分类的时候，我们希望输出是符合概率分布的，所以利用Softmax做了归一化的处理。这个过程非常好理解，将所有的项相加得到分母，各项在作为分子，只不过这里加了一个e为底的指数函数，确保值都大于0。多分类的神经网络的最后一层，一般就会用到Softmax，所以最后一层一般不用
转载
2023-10-12 09:21:41
399阅读
HL越来越火，常用的HL软件也有好几个，而我 Deepfacelab 就是一种基于深度学习的软件，它可以把视频中的L替换成你想要的L。想想就很爽吧，但是这种对电脑的硬件依赖比较大，如显卡。而最近显卡价格的波动比较大，主要买不起，所以就拿游戏笔记本（GTX1060）做一个简单的样例。AI 换脸就是采用生成式对抗网络（GAN, Generative Adversarial Networks ）的人工智
如何在window下绘制caffe的loss和accuracy曲线其大概方法都是要先生成log文件，然后通过其来绘制这两条曲线。生产log文件基本有两种方法。方法一通过命令行来进行生成，其使用bat文件时的配置为：h:
cd H:\VCproject\dd
caffe.exe train --solver=H:/VCproject/dd/solver.prototxt --weights=H:
不要每次去2>&1 \tee out.log，好多模型本身会生成日子文件在experiment/log下
转载
2017-09-23 17:22:00
224阅读
2评论
过拟合欠拟合
原创
2022-01-06 15:09:34
1225阅读
文章目录1 线性模型计算loss代码分析2 引入梯度下降问题2.1 梯度下降【代码】3 鞍点问题4 解决鞍点问题：引入随机梯度下降4.1 随机梯度下降【代码】5 随机梯度下降vs梯度下降5.1 随机梯度下降5.2 梯度下降6 两者折中解决：batch6.1 举例说明mini-Batch 写在前面：学习pytorch的第二天，今天继续加深loss函数和w参数之间的关系，利用matplot画图表示。
转载
2023-11-03 12:02:10
224阅读
# Python画出椭圆曲线
## 引言
椭圆曲线是密码学中非常重要的数学概念，它在现代密码学中被广泛应用。Python作为一门功能强大的编程语言，提供了多种库和工具来进行椭圆曲线的计算和绘图。本文将介绍如何使用Python画出椭圆曲线，并提供相应的代码示例。
## 椭圆曲线的定义
椭圆曲线是一个定义在有限域上的曲线，可以用以下方程表示：
)，用以衡量真实值 y和预测值 f(x)之间不一致的程度，一般越小越好。为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为 [y-f(x)] ：残差表示，在分类问题中则为 yf(x) ： 趋势一致。具有多个输出的神经网络可能具有多个损失函数，每个输出对应一个损失函数。但是梯度
转载
2023-11-27 20:26:50
433阅读
