图片来自网络，侵删
回顾上一篇文章：多元线性回归的基本假设
夔小攀：计量经济学：多元线性回归的总体与样本以及基本假设zhuanlan.zhihu.com
假设一：回归模型设定是正确的
假设二：矩阵
是满秩的
假设三：随机干扰项条件零均值
假设四：随机干扰项同方差且序列不相关
假设五：随机干扰项具有正态分布
再看看我们在一元线性回归时，估计模型中的参数的套路：
夔小攀：计量经济学：一元线性回归最小二乘估计（OLS）及其检验zhuanlan.zhihu.com
开始这一篇文章：待估参数推导过程
之前我们谈到，多元线性回归是可以用矩阵形式表示的，所以我们在这里也会尝试使用矩阵的形式去进行OLS估计。
正规方程组的推导
普通最小二乘的原理，就是让实际值
与估计值
之间差的平方和最小。在多元线性回归中，样本回归函数为：
那么对于
这个样本，其实际值与估计值的差：
对于所有的
（样本量为
，解释变量个数为
），
的平方和为：
如何求得
的最小值呢？对未知量
求偏导，并令其等于零可能是一个合理的思路（到后面，我们可以尝试证明，求得的极值就是最值）。
这对于手工计算可不容易，最后的结果我们可以用一个技巧来代替：
令
表示第
个解释变量
对其他解释变量进行OLS回归后的残差，那么
就可以表示为：
矩阵形式下的正规方程组
正规方程组可以变换为：
只看第一行：
可以表示为：
那么，对于所有行，也就相当于：
而最左边的矩阵，其实相当于
那么整个正规方程组，我们用矩阵表示为
，由此可得：
矩阵推导全程
对于
，运用矩阵的乘法性质（注意：
），可以推出：
再对
求偏导：
矩阵求导的性质
注意：
是一个列向量，对于列向量
求导，有以下性质
那么，
;
;
;
则有：
化简得：
，由此可得：
统计量的性质
与一元线性回归相同的，对于满足基本假设的OLS估计统计量，具有线性性、无偏性、有效性、一致性、渐进无偏性、渐进有效性。我们可以尝试证明前三个性质
线性性
线性性极为明显：
，其中
只与固定的
有关
无偏性
将
代入其中，可以得到：
利用零均值假设，
，无偏性也得到了证明。同时
，这个公式将在有效性的证明中发挥作用。
有效性
需要先求出估计量的方差：
这里运用了同方差与序列不相关的假设，即
随后证明这个方差是所有线性无偏估计量中最小的
不妨假设这个世界上的其他「线性无偏」估计量为
，当然对于
可以将其表示为
，
是一个固定矩阵，
就是最小二乘估计中的线性系数
。根据无偏性的条件：
那么，当且仅当
时，才能使得
；那么
；而
，那么
再考察
的方差-协方差矩阵：
其中，我们通过之前的论证
，可以发现：
那么，移项便知：
继续观察协方差矩阵：
虽然看上去很复杂，但是结果却很简单。根据我们的假设，
是一个主对角线元素非负的对称矩阵，可以得知最终的结果：
所以最小二乘估计量具有有效性。一元线性回归中的证明也是如此。
