adaboost回归模型 adaboost回归原理

目录

• 1.简介
• 2.二分类样本权重和弱学习器系数推导

• (1)弱学习器系数推导
• (2)样本权重系数推导

• 3.Adaboost分类算法流程
• 4.Adaboost回归算法流程
• 5.Adaboost正则化
• 6.sklearn实现Adaboost

1.简介

Adaboost为加法模型，学习算法为前向分步学习算法。
作为经典的boosting算法，Adaboost通过计算前一个基学习器的误差率，更新后一个基学习器的系数和样本集的权重系数，最后再通过结合策略进行预测。
理论上任何学习器都可以用于Adaboost。但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。

2.二分类样本权重和弱学习器系数推导

通过推导二分类的样本权重和弱学习器系数，可以了解Adaboost的工作原理。

(1)弱学习器系数推导

假设第$k$轮的强学习器为$f_{k}(x)$，弱学习器为$G_{k}(x)$，根据加法模型和前向分布学习算法，可知它们之间的关系为：
$f_{k}(x)=\sum_{i=1}^{k}\alpha _{i}G_{i}(x)=f_{k-1}(x)+\alpha _{k}G_{k}(x)$
二分类问题中，Adaboost的损失函数为指数函数，则第$k$轮的损失为：
$\begin{aligned} L(\alpha _{k},G_{k}(x)) &= \arg\min_{\alpha ,G}\sum_{i=1}^{m}\exp[-y_{i}f_{k}(x)]\\ &=\arg\min_{\alpha ,G}\sum_{i=1}^{m}\exp[-y_{i}(f_{k-1}(x)+\alpha _{k}G_{k}(x))] \\ &= \arg\min_{\alpha ,G}\sum_{i=1}^{m}\exp[-y_{i}f_{k-1}(x)]\exp[-y_{i}\alpha _{k}G_{k}(x)]\\ \end{aligned}$
上式中，$y_{i},f_{k-1}(x)$已知，因此，$\exp[-y_{i}f_{k-1}(x)]$为常数，令：
$\overline{w}_{ki}=\exp[-y_{i}f_{k-1}(x)]$
则第$k$轮的损失函数更新为：
$L(\alpha _{k},G_{k}(x))=\arg\min_{\alpha ,G}\sum_{i=1}^{m}\overline{w}_{ki}\exp[-y_{i}\alpha _{k}G_{k}(x)]$
在二分类任务中，当弱学习器的预测结果和标签一致时，即$y_{i}=G_{k}(x_{i})$，则：
$-y_{i}\alpha _{k}G_{k}(x_{i})=-\alpha _{k}$
不一致时，即$y_{i}\neq G_{k}(x_{i})$，则：
$-y_{i}\alpha _{k}G_{k}(x_{i})=\alpha _{k}$
由此可将损失函数进一步更新：
$\begin{aligned} L(\alpha _{k},G_{k}(x))&=\arg\min_{\alpha ,G}\sum_{i=1}^{m}\overline{w}_{ki}\exp[-y_{i}\alpha _{k}G_{k}(x)]\\ &= \arg\min_{\alpha ,G}[\sum_{y_{i}=G(x_{i})}\overline{w}_{ki}\exp(-\alpha _{k})+\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}\exp(\alpha _{k})]\\ &=\arg\min_{\alpha ,G}[e^{-\alpha _{k}}\sum_{y_{i}=G(x_{i})}\overline{w}_{ki}+e^{\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}]\\ &=\arg\min_{\alpha ,G}[e^{-\alpha _{k}}\sum_{y_{i}=G(x_{i})}\overline{w}_{ki}+e^{-\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}-e^{-\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}+e^{\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}]\\ &=\arg\min_{\alpha ,G}[e^{-\alpha _{k}}\sum_{i=1}^{m}\overline{w}_{ki}+(e^{\alpha _{k}}-e^{-\alpha _{k}})\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))] \end{aligned}$
上式对$\alpha _{k}$求导可得：
$\begin{aligned} \frac{\partial L}{\partial \alpha _{k}}&=\arg\min_{\alpha ,G}[(e^{\alpha _{k}}+e^{-\alpha _{k}})\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))-e^{-\alpha _{k}}\sum_{i=1}^{m}\overline{w}_{ki}]\\ &=0\\ &\Rightarrow e^{-\alpha _{k}}=\frac{(e^{\alpha _{k}}+e^{-\alpha _{k}})\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))}{\sum_{i=1}^{m}\overline{w}_{ki}} \end{aligned}$
由错误率的定义可知，第$k$轮分类错误率为加权误差比：
$E_{k}=\frac{\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))}{\sum_{i=1}^{m}\overline{w}_{ki}}$
将$E_{k}$带入$e^{-\alpha _{k}}$得第$k$轮弱学习器的系数：
$\begin{aligned} e^{-\alpha _{k}} &= (e^{\alpha _{k}}+e^{-\alpha _{k}})E_{k}\\ &\Rightarrow 1=(e^{2\alpha _{k}}+1)E_{k}\\ &\Rightarrow e^{2\alpha _{k}}=\frac{1-E_{k}}{E_{k}}\\ &\Rightarrow \alpha _{k}=\frac{1}{2}\log\frac{1-E_{k}}{E_{k}} \end{aligned}$

(2)样本权重系数推导

训练过程中，第一轮的样本权重系数通过初始化得到，之后的权重系数可以根据以上过程推导：
已知第$k$轮的权重系数为：
$\overline{w}_{ki}=\exp[-y_{i}f_{k-1}(x_{i})]$
则第$k+1$轮的权重系数为：
$\begin{aligned} \overline{w}_{k+1,i}&=\exp[-y_{i}f_{k}(x)] \\ &= \exp[-y_{i}(f_{k-1}(x)+\alpha _{k}G_{k}(x_{i}))]\\ &= \exp[-y_{i}f_{k-1}(x)]\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]\\ &=\overline{w}_{k,i}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})] \end{aligned}$
由此可得第$k+1$轮时的权重系数$\overline{w}_{k+1,i}$。
通常，在计算的时候，会对权重系数进行归一化处理，具体做法为：
$w_{k+1,i}=\frac{w_{k,i}}{Z_{k}}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]$
其中，$Z_{k}$为使原式归一化的规范因子：
$Z_{k}=\sum_{i=1}^{m}w_{k,i}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]$

3.Adaboost分类算法流程

输入：$m$个$n$维样本，每个样本有一个标签$y$，弱分类器$G(x)$迭代数量$K$。
输出：强学习器$f(x)$。
a.初始化样本集权重：
$\mathbf{w}_{1}=(w_{1,1},w_{1,2},w_{1,3},...,w_{1,m})\\ w_{1,i}=\frac{1}{m}$
b.使用具有权重$\mathbf{w}_{k}$的样本集训练出第$k$个弱学习器$G_{k}(x)$。
c.计算出$G_{k}(x)$的加权分类误差率：
$E_{k}=\frac{\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))}{\sum_{i=1}^{m}\overline{w}_{ki}}$
d.计算弱分类器的系数：
二分类：
$\alpha _{k}=\frac{1}{2}\log\frac{1-E_{k}}{E_{k}}$
多分类：
$\alpha _{k}=\frac{1}{2}\log\frac{1-E_{k}}{E_{k}}+\log(C-1)$
其中，$C$为类别数。
e.更新下一轮样本权重：
$w_{k+1,i}=\frac{w_{k,i}}{Z_{k}}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]$
f.重复(2)到(4)直到训练出$K$个若学习器，最终预测模型为：
$f(x)=sign(\sum_{k=1}^{K}\alpha _{k}G_{k}(x_{i}))$

4.Adaboost回归算法流程

输入：$m$个$n$维样本，每个样本有一个标签$y$，弱分类器$G(x)$迭代数量$K$。
输出：强学习器$f(x)$。
a.初始化样本集权重：
$\mathbf{w}_{1}=(w_{1,1},w_{1,2},w_{1,3},...,w_{1,m})\\ w_{1,i}=\frac{1}{m}$
b.使用具有权重$\mathbf{w}_{k}$的样本集训练出第$k$个弱学习器$G_{k}(x)$。
c.计算所有预算值的最大误差：
$E_{k}=\max|y_{i}-G_{k}(x_{i})|$
d.计算出每个预测值的相对误差：
线性误差:
$e_{k,i}=\frac{|y_{i}-G_{k}(x_{i})|}{E_{k}}$
平方误差：
$e_{k,i}=\frac{(y_{i}-G_{k}(x_{i}))^{2}}{E_{k}^{2}}$
指数误差：
$e_{k,i}=1-\exp(\frac{|y_{i}-G_{k}(x_{i})|}{E_{k}})$
e.计算当前预测结果的误差率：
$e_{k}=\sum _{i=1}^{m}w_{k,i}e_{k,i}$
f.计算弱学习器系数：
$\alpha_{k}=\frac{e_{k}}{1-e_{k}}$
g.更新下一轮的样本权重：
$w_{k+1,i}=\frac{w_{k,i}}{Z_{k}}\alpha _{k}^{1-e_{k,i}}$
其中，$Z_{k}$为归一化因子：
$Z_{k}=\sum_{i=1}^{m}w_{k,i}\alpha_{k}^{1-e_{k,i}}$
h.重复(2)到(7)直到训练出$K$个若学习器。

5.Adaboost正则化

$f_{k}(x)=f_{k-1}(x)+v\alpha _{k}G_{k}(x)$
其中，$v$为惩罚系数，取值范围$(0,1]$。
惩罚系数越小，需要迭代的次数越多。

6.sklearn实现Adaboost

from sklearn import ensemble,tree,datasets
iris=datasets.load_iris()
x,y=iris.data,iris.target
model = ensemble.AdaBoostClassifier(tree.DecisionTreeClassifier())
model.fit(x,y)
print(model.score(x,y))

输出：

1.0