Bagging算法
从数据集有放回的随机抽取样本，生成多个自助样本集，每个自助样本集大小与原数据集一致，因此一些样本可能在同一个自助样本集中出现多次。对每个自助样本集训练一个基学习器，常用的基学习器为二元决策树，因为对于有复杂决策边界的问题，二元决策树性能不稳定，这种不稳定可以通过组合多个决策树模型来客服。最终，对于回归问题，结果为基学习器均值，对于分类问题，结果是从不同类别所占的百分比引申出来的各类别概率或均值。
算法流程
step1
k=自助样本集个数
N=原数据集大小
step2
step3
for i=1 to k{
生成大小为N的自助样本集D[i]
D[i]上训练一个基分类器C[i]
}
计算C[i](x)=y，根据投票或概率，
得到最终C*(x)值
R语言实现
adabag包中的bagging()函数可以实现Bagging算法，此函数中选取的基分类器为树。选取线性分类器与性能评价(R语言)中的数据来进行Bagging算法的实例演示，并展示了基分类器个数与误差变化关系图。
导入包与数据，以7:3比例将数据分为训练集与测试集。
library(adabag)
library(ggplot2)
target.url <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectionist-bench/sonar/sonar.all-data'
data <- read.csv(target.url,header = F)
#divide data into training and test sets
set.seed(210)
index <- sample(nrow(data),0.7*nrow(data))
train <- data[index,]
test <- data[-index,]
用bagging()函数对训练集进行训练。首先定义基分类器个数为1，通过循环依次增加基分类器个数，直至达到20。基分类器个数通过bagging()中的mfinal参数进行设置。
#Bagging algorithm with different numbers of classifiers
error <- as.numeric()
for(i in 1:20){
data.bagging <- bagging(V61~., data=train, mfinal=i)
data.predbagging <- predict.bagging(data.bagging,newdata = test)
error[i] <- data.predbagging$error
}
对于预测后的结果data.predbagging，输入data.predbagging$confusion可以看到预测值与真实结果的混淆矩阵，输入data.predbagging$error可以看到预测误差。下面，用ggplot2画出误差随基分类器个数变化图像。
error <- as.data.frame(error)
p <- ggplot(error,aes(x=1:20,y=error))+
geom_line(colour="red", linetype="dashed",size = 1)+
geom_point(size=3, shape=18)+
ylim(0.13,0.4) +
xlab("the number of basic classifiers")+
theme_bw()+
theme(panel.grid = element_blank())+
theme(axis.title = element_text(face = "bold"))
p
图像结果为：
可以看出，随着基分类器增加，误差虽有波动，但有减小趋势，逐渐趋向于0.22左右。
优缺点
1，Bagging增强了目标函数的表达功能。
2，由于放回抽样每个样本被选中概率相同，Bagging不侧重于训练数据集中的任何特定实例。因此对于噪声数据，不太受过分拟合影响。
3，性能依赖基分类器稳定性，基分类器不稳定，Bagging有助于降低训练数据的随机波导致的误差，如果基分类器稳定，则组合分类器的误差主要为基分类器偏倚所引起的，此时Bagging对基分类器性能可能没有显著改善，甚至会降低。
