文章目录
- 一 背景
- 二 线性与非线性模型
- 1 线性模型
- 2 非线性模型
- 三 深度学习的非线性表达
一 背景
近年来，伴随着大数据与大算力的突破性进展，基于深度学习的突破层出不穷，基于卷积的网络结构在图像领域大放异彩、基于时序的网络模型在搜广推被广泛使用，并且产生了巨大的经济与体验效益，深受广大算法从业者的偏爱。
那么什么是深度学习呢？深度学习为何会如此强悍呢？
引用维基百科对于深度学习的定义：通过多层非线性变换对高复杂性数据建模算法的合集。并且因为深层神经网络是实现“多层非线性变换”最常用的一种方法，所以实际中基本上可以认为深度学习就是深度神经网络的代名词。
从维基百科的定义，我们能够感知到深度学习的两个非常重要的特性，正是这两个特征使得深度学习有别与以往的统计机器学习，并且在实践中大放异彩：
- 线性与非线性：在机器学习的回归问题中，线性模型和非线性模型都可以去对曲线进行建模，那么线性模型和非线性模型有什么区别呢？其实，线性模型和非线性模型的区别并不在于能不能去拟合曲线。下面我们来详细介绍一下它们两个的区别。
- 多层性：神经网络普遍采用多层交叉的网络架构进行模型能力的演进；
借助着强大的多层非线性能力，使得深度学习得到的模型能力够更加精准的符合现实存在的数据分布，从而拥有更加强大准确的泛化能力，继而被广大从业者认可并且广泛使用。
二 线性与非线性模型
1 线性模型
首先，我们从统计学的角度来阐述下线性模型的定义，通过定义基本元素，继而定义线性模型由简单到复杂的表达，最后抽象整个线性模型的定义。
基本元素
- 参数：常量表达，定量描述。
- 自变量：X，用于描述变量。
规则一：简单表达，简单线性模型遵循一种非常特殊的表达形式，通过基本元素的单一聚合以及基本元素单一交叉组合而成。
- 在统计学中，当线性模型中的所有项为上述基本元素的任一项时（单一的参数与自变量），模型就是线性模型。示例如下：
Dependent variable = constant + parameter + x- 在统计学中，当线性模型中的所有项为上述基本元素经过简单组合（参数与自变量两两交叉的一维组合），模型就是线性模型。示例如下:
Dependent variable = constant + parameter * X + … + parameter * X规则二：复杂表达：
在统计学习中，这种简单组合的线性模型太过于简单，限制了线性模型的表达能力。所以除了以上这种简单的基本元素的组合外。那么线性模型是否可以模拟曲线与曲面呢？答案是肯定的。
虽然函数在参数中必须是线性的，但您可以将一个自变量提高一个指数来拟合曲线。例如，如果你对一个自变量平方，模型可以沿着u型曲线。
线性定义：一个表达式是否为线性，取决于参数，而不是自变量。
当自变量平方后，模型在参数上仍然是线性的。线性模型也可以包含对数项和逆项，以遵循不同类型的曲线，但参数仍然是线性的，所以只要参数是线性的，变量是二次方、多次方或者指数、对数，都不会改变模型的线性本质。
2 非线性模型
上面我们介绍了线性模型的定义，那么从整体上来说，一个模型要么属于线性，要么属于非线性。既然我们从定义上明确了线性模型的概念，那么不符合这个定义的就是非线性模型了。
按照上面的定义描述，本质上来判断一个模型是不是非线性，就是需要判断它的参数是不是非线性的。非线性模型具有非常多的不规则的表达，这也是非线性模型能够那么好的拟合那些曲折的函数曲线的原因，进而产生更加优异的泛化效果。比如下面这个：
与线性模型不一样的是，这些非线性模型的特征因子对应的参数不止一个。
三 深度学习的非线性表达
上面的章节中介绍了非线性与线性的定义，也介绍了非线性强大的拟合与泛化能力，那么深度模型又是如何做到非线性的能力呢？下面我们一起分析下。
通过两层网络的表达，x最终到达输出层的时候，最终的表达是里面参数有V和W，所以属于非线性的表达，进而使得深度模型具备强大的拟合与泛化能力。说白了就是通过非线性的拟合，使得模型更加贴近事物的本质分布，离真相更加接近。
