python 虚拟变量回归分析 虚拟变量的回归分析

文章目录

• Lecture 8 虚拟变量回归

• 8.1 虚拟解释变量

• 虚拟变量定义
• 虚拟解释变量的回归

• 加法类型
• 乘法类型
• 虚拟解释变量综合应用

• 8.2 虚拟被解释变量模型（二项选择模型/离散选择模型DCM）

• 线性概率模型（LPM）
• Logit和Probit模型

• 基本结构
• Logit Model
• Probit Model
• 模型估计
• 模型检验

• 联合显著性检验
• 单参数检验
• 分组检验
• 拟合优度检验（LRI=Pseudo-R^2）

Lecture 8 虚拟变量回归

8.1 虚拟解释变量

虚拟变量定义

虚拟变量陷阱：实质是完全多重共线性

虚拟解释变量的回归

加法类型

乘法类型

虚拟解释变量综合应用

• 结构变化分析
• 交互效应分析
  交互项：
  $C=\alpha+\beta Y+u$
  $\beta=\beta_1+\beta_2Z$
  $\Rightarrow C=\alpha+(\beta_1+\beta_2Z)Y+u=\alpha+\beta_1Y+\beta_2YZ+u$
  刻画交互作用的方法，在变量为定性变量时， 是以乘法方式引入虚拟变量的。
• 分段回归分析
  常用于时间序列，引入虚拟变量能够区分不同时期的影响的差别，而且两个时期的回归直线在1979年的观测值上交汇。知道一组转折点自变量和应变量的观测值$(X_{1979},Y_{1979})=(X^*,Y^*)$，创建一个虚拟变量:
  $D_t= \begin{cases} 0& t<1979\\ 1& t\geq1979 \end{cases}\\ Y_t=\beta_0+\beta_1X_t+\beta_2(X_t-X^*)D_t+u_t$
  如果$\beta_2$显著不为0，则说明在1979年前后，$X$对$Y$的影响发生了明显改变。
• 盲点（异常值）分析
  有时，若干观测点对应于特定的政治或者经济事件，它们与其余观测截然不同。我们可以采取虚拟变量来描述这个异常点。若只有一个盲点，虚拟变量在该盲点观测值上取值为1，其余为0.

8.2 虚拟被解释变量模型（二项选择模型/离散选择模型DCM）

线性概率模型（LPM）

缺点：

1. 取值界限问题：不能保证$0<E(Y_i|X_i)<1$，即拟合出来的概率可能会超出单位区间。
2. 异方差问题：除非因变量与任何一个解释变量都无关，否则模型一定存在异方差问题。
3. 线性假设问题
4. 任何一个解释变量（以水平值形式出现）的偏效应都是不变的。

Logit和Probit模型

基本结构

$E(Y|X)=p=P(Y+1|X)=G(X\beta)$

对Logit Model：$G(X\beta)=\Phi(X\beta)$

对Probit Model：$G(X\beta)=\Lambda(X\beta)=\frac{\exp(X\beta)}{1+\exp(X\beta)}$

Logit Model

用$\ln(\frac{p}{1-p})=X\beta$作自变量，$\ln(\frac{p}{1-p})$被称作机会对数比率，也称作logit。

因变量对自变量的敏感度（Partical Effects）：
$\frac{\partial p}{\partial X}=\frac{\exp(X\beta)}{(1+\exp(X\beta))^2}\beta$

Probit Model

因变量对自变量的敏感度（Partical Effects）：
$\frac{\partial p}{\partial X}=\frac{1}{\sqrt{2\pi}}\exp(-\frac{(X\beta)^2}{2})\beta$

模型估计

极大似然估计

对数似然函数：
$\ln L=\displaystyle\sum_{i=1}^{n}\Big(Y_i\cdot\ln[G(X\beta)]+(1-Y_i)\cdot\ln[1-G(X\beta)]\Big)$

模型检验

联合显著性检验

• 似然比检验（LR检验）：$LR=-2(\ln L_R-\ln L_{UR})\sim\chi^2(k)$，$k$个约束性条件
  其中Restricted model为仅有常数项的模型，$\ln L_R$是这个模型的对数似然比函数值；
  Unrestricted model为被估计模型，$\ln L_{UR}$是这个模型的对数似然比函数值。
• Wald检验：$W$统计量

单参数检验

相当于是约束条件检验，其中受约束方程为去除某个（或者去除某$q$个）解释变量的方程。

• Wald受约束检验：$H_0=\hat{\beta}_k=0$，$W \sim \chi^2(1)$ 或 $H_0=\hat{\beta}_{k+1}=\dots=\hat{\beta}_{k+q}=0$，$W \sim \chi^2(q)$
• 似然比检验：$LR=-2(\ln L_R-\ln L_{UR})\sim \chi^2(1)$ 或$\sim \chi^2(q)$

分组检验

把全样本分成G组

拟合优度检验（LRI=Pseudo-R^2）

$LRI=Pseudo-R^2=1-\frac{\ln L_{UR}}{\ln L_R}\\$

如果模型是perfectly fitted，即当$Y_i=1$，$G(X\beta)=1$；$Y_i=0$，$G(X\beta)=0$
$\Rightarrow\ln L=\displaystyle\sum_{i=1}^{n}\Big(Y_i\cdot\ln[G(X\beta)]+(1-Y_i)\cdot\ln[1-G(X\beta)]\Big)=0\\ \Rightarrow LRI=1-\frac{0}{L_R}$