【深度学习】softmax后处理和弹性形变前处理

【深度学习】softmax后处理和弹性形变前处理_经验分享
文章目录
1 softmax的一个例子
2 后处理:通过平均来集成softmax概率
3 神经网络中的蒸馏技术,从Softmax开始说起
4 softmax加权集成
5 弹性形变前处理

1 softmax的一个例子

首先咱们先来规定一些参数,首先假设分割的前景目标一共有三种类别(行人, 车辆,红绿灯),分割图片的大小依然是200*200.那么题主在问题中描述的,40000个像素都各有一个值是不准确的,准确的说,是40000个像素都各有4个值,softmax之前以及之后的结果的对应tensor的shape都是(4, 200, 200),这里为什么第一个维度是4呢,因为有三种目标和一个背景,所以本分割任务相当于逐像素的在做四分类的问题,所以这时候想要得到最终的分割结果,应该对第一个维度也就是4那个维度取最大值,意思就是在每一个像素点,在四种类别中选取概率最高的那个类别。

1.函数用于卷积神经网络最后一层,对数据进行分类,不过该分类对每个可能结果都进行分类(小概率照样分类):

定义:

假设有一个数组V,Vi 表示V中第i 个元素,

SoftMa