1.关于训练和推理。
线性代数很重要,理解向量点积,向量点积和向量相似度正相关。
最邻近算法的缺点,训练很快,推理很慢,这不符合我们的要求,因为我们希望训练慢一点,这样可以训练出更准确的模型,而且训练是在数据中心完成的,能够承担更大的计算量。我们希望推理快一点,这样可以部署在算力比较小的终端设备上面。
2.关于距离
L1距离是正方形,正方形上每个点到原点的L1距离是相同的,L2距离是欧几里得距离,是圆形,圆形上的点到原点的L2距离也是相同的
3.超参数的概念
比如,K邻近分类中的K就是超参数。
更好的办法,轮流作validation
4.线性分类器和CNN的关系
5.卷积核是对包含整个深度的三维立体图像结构进行卷积的,所以,图像深度信息在卷积后就没有了,剩下了图像大小和卷集核的个数信息。通常,卷积核是三维的,不是二维的。一次卷积核产生一个数字。
池化,没有重叠,最大池化一般好于平均池化,选择最神经的神经元。
池化参数:
GPUs VS CPUs
通常说的网络深度,是指可训练层的个数,也就是计算层的数量,包括卷积层和全连接层。
大部分参数在FC层,大部分内存在前面的COV层。
零填充