多项式非线性回归拟合模型 多元非线性回归方程

文章目录

• 第一节：一元线性回归

• 一：一元线性回归的数学模型
• 二、回归系数的最小二乘估计
• 三、回归估计的精度
• 四、 σ 2 \sigma^2 σ2的估计
• 五、线性假设的显蓍性检验

• 回归分析

• 研究两个或以上变量间的相互关系的统计方法

• 不是一种确定性的关系,无法用确定函数表示
• 回归分析通过建立统计模型来研究这种关系

• 并由此对相应的变量预测和控制

 

• 变量只有两个时,称一元回归分析,
• 两个以上,多元回归
• 变量间呈线性关系,线性回归;

• 不具有线性关系,称为非线性回归

 

• 回归分析的方法包括一元线性回归,多元线性回归,非线性回归

第一节：一元线性回归

一：一元线性回归的数学模型

• 设变量$Y$对变量$X$的回归有$\beta_0+\beta_1 X$的形式,则
• 有一元线性回归数学模型

$Y=\beta_0+\beta_1 X+\varepsilon\tag{9.1}$

• 通常设

$\varepsilon\sim N(0,1)\tag{9.2}$

• $\beta_0,\beta_1$是未知参数
• 由$X,Y$的观测值$(x_1,y_1),(x_2,y_2),…,(x_n,y_n)$对$\beta_0,\beta_1$作一估计
• 称方程

• 为$Y$关于$X$的线性回归方程
• $\hat{Y}$表示$\hat{\beta_0}$,$\hat{\beta_1}$确定之后对于给定的$X$相应的$Y$预报值(也称$Y$的拟合值或回归值)
• 代入一个$X$,就得到对应于这$X$的均值的预报$\hat{Y}$

二、回归系数的最小二乘估计

• 估计模型的参数,用最小二乘法.
• n组观测
• 由式(9.1)

• 从而得到偏离真实直线$Y=\beta_0+\beta_1X$的偏差平方和

 

• 现选择估计值使$S$最小
• 将$S$分别求偏导,并令为零

• 称式(9.6)为正规方程组,解为

 

• 用这种方法求出的参数称最小二乘估计(LS)估计

 

三、回归估计的精度

• 现讨论回归直线的估计精度,

• 残差$e_i$由两部分构成
• 观测值与均值$\overline{y}$的偏差
• 拟合值与均值的偏差

 

• $\hat{y}_i$的均值与$y_i$均值相等

 

• 将(9.10)改写成$y_i-\overline{y}=(\hat{y}_i-\overline{y})+(y_i-\hat{y}_i)$
• 两边平方,从1到n求和,得

 

• (9.12)的左边是$Y$的校正平方和,校正SS

• 即$y_i$总变差

• $(\hat{y}_i-\overline{y})$

• 第$i$次观测的预报值与均值的偏差,平方和称回归平方和

• 简写为回归SS

• $(y_i-\hat{y}_i)$是第$i$次观测值与它的预报值的偏差(残差)

• 其平方和称残差平方和

• 式(9.12)就说
• 校正平方和=回归平方和+残差平方和

 

• $Y$关于其均值的方差(校正平方和)分两部分
• 前部分是由回归线引起的
• 后部分是由于实际观测值没落在回归线上引起(否则残差平方和为0)
• 判别回归线拟合程度好坏,即看校正SS中,

• 包含多少回归SS和残差SS.

• 如果回归SS远比残差SS大,或

• 则可认为回归效果较满意

 

• 每一个平方和都与自由度(df)相联系

• 表示在平方和中独立的项数

• 校正SS中,$y_i-\overline{y}$之和为0

• 只有n-1个是独立的,自由度为n-1

• 可用$y_1,y_2,...,y_n$的一个函数$\hat{\beta}_1$计算回归SS,故它的自由度为1.
• 用变量变换,可以求出残差SS的自由度为n-2.

• 表明残差是从需要估计的两个参数的直线模型的拟合中出现的.

• 残差SS有“观测次数减去需要估计的参数个数”个自由度

 

还有一点

四、$\sigma^2$的估计

• 残差SS记作$Q_e$则,
• 在$\varepsilon\sim N(0,\sigma^2)$的假定下,可证

• 因此$E(\frac{Q_e}{\sigma^2})=n-2$,即知

• 是$\sigma^2$的无偏估计

 

五、线性假设的显蓍性检验

• 在前面的一元线性模型式(9.1),线性模型的提出

• 要专业知识根据问题本身的特点提出
• 但模型是否接近问题本质,
• 或得到的线性回归方程(及预报方程)是否有价值,
• 要根据实际观测到的数据,用假设检验判断

• 若线性假设式(9.1)成立,则$\beta_1$不应为0.

• 若=0,则$y$就不依赖$x$

• 要检验的假设

 

• 可证