第三章 模型搭建和评估–建模

经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。

我们拥有的泰坦尼克号的数据集，那么我们这次的目的就是，完成泰坦尼克号存活预测这个任务。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from IPython.display import Image
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.rcParams['figure.figsize'] = (10, 6)  # 设置输出图片大小

载入这些库，如果缺少某些库，请安装他们

【思考】这些库的作用是什么呢？你需要查一查

#思考题回答
# pandas常强大的分析结构化数据的工具集，底层是numpy
# numpy 是python用于科学计算的 多维数组是其最大卖点 其次是索引与切片 线性代数和傅立叶变换的功能
# matplotlib是可视化工具
#Seaborn 是一个基于 matplotlib 且数据结构与 pandas 统一的统计图制作库

载入我们提供清洗之后的数据(clear_data.csv)，大家也将原始数据载入（train.csv），说说他们有什么不同

#写入代码
df1 = pd.read_csv('clear_data.csv')
df1.head()



PassengerId

Pclass

Age

SibSp

Parch

Fare

Sex_female

Sex_male

Embarked_C

Embarked_Q

Embarked_S

0

0

3

22.0

1

0

7.2500

0

1

0

0

1

1

1

1

38.0

1

0

71.2833

1

0

1

0

0

2

2

3

26.0

0

0

7.9250

1

0

0

0

1

3

3

1

35.0

1

0

53.1000

1

0

0

0

1

4

4

3

35.0

0

0

8.0500

0

1

0

0

1

#写入代码
df2 = pd.read_csv('train.csv')
df2.head()



PassengerId

Survived

Pclass

Name

Sex

Age

SibSp

Parch

Ticket

Fare

Cabin

Embarked

0

1

0

3

Braund, Mr. Owen Harris

male

22.0

1

0

A/5 21171

7.2500

NaN

S

1

2

1

1

Cumings, Mrs. John Bradley (Florence Briggs Th...

female

38.0

1

0

PC 17599

71.2833

C85

C

2

3

1

3

Heikkinen, Miss. Laina

female

26.0

0

0

STON/O2. 3101282

7.9250

NaN

S

3

4

1

1

Futrelle, Mrs. Jacques Heath (Lily May Peel)

female

35.0

1

0

113803

53.1000

C123

S

4

5

0

3

Allen, Mr. William Henry

male

35.0

0

0

373450

8.0500

NaN

S

df2.shape
(891, 12)
#写入代码
清洗后的数据讲分类特征变成了数值特征one-hot编码，去除了字符串

模型搭建

  • 处理完前面的数据我们就得到建模数据，下一步是选择合适模型
  • 在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习
  • 模型的选择一方面是通过我们的任务来决定的。
  • 除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定
  • 刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型

这里我的建模，并不是从零开始，自己一个人完成完成所有代码的编译。我们这里使用一个机器学习最常用的一个库（sklearn）来完成我们的模型的搭建

下面给出sklearn的算法选择路径，供大家参考

# sklearn模型算法选择路径图
Image('sklearn.png')，这个图真的是清清楚楚啊

数据分析模型搭建与基础设计 数据分析及模型建立_python

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FKEDXkTq-1632393505112)(output_17_0.png)]

【思考】数据集哪些差异会导致模型在拟合数据是发生变化

#思考回答
# 1 样本不均衡，倘若正样本很少，负样本很多
#
任务一：切割训练集和测试集

这里使用留出法划分数据集

  • 将数据集分为自变量和因变量
  • 按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
  • 使用分层抽样
  • 设置随机种子以便结果能复现

【思考】

  • 划分数据集的方法有哪些？
  • 为什么使用分层抽样，这样的好处有什么？

在机器学习中，有
留出法：把数据集划分成两个互斥的集合 按照西瓜书上讲的，常见的做法是将2/3～4/5的样本用作训练，其他的用作测试
交叉验证：k折交叉验证，把数据集切分成k分，然后每次取其中的1分用作测试及，其他用作训练，重复k次，取eval的平均
自助法：每次从数据集中抽样，重复m次，这样就会得到一个有m个样本的训练集D‘，原来的数据集D中样本数量不变。西瓜书交代说对集成学习等方法有好处

任务提示1
  • 切割数据集是为了后续能评估模型泛化能力
  • sklearn中切割数据集的方法为train_test_split
  • 查看函数文档可以在jupyter noteboo里面使用train_test_split?后回车即可看到
  • 分层和随机种子在参数里寻找

要从clear_data.csv和train.csv中提取train_test_split()所需的参数

#写入代码
from sklearn.model_selection import train_test_split
train_test_split?
"""
train_test_split(
    *arrays,
    test_size=None,
    train_size=None,
    random_state=None,
    shuffle=True,
    stratify=None,
)
"""
X = df1
y = df2['Survived']
#写入代码
X_train,X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)
#写入代码
X_train.shape, X_test.shape
((668, 11), (223, 11))

【思考】

  • 什么情况下切割数据集的时候不用进行随机选取
#思考回答
当数据集处于均匀分布情况下，不需要shuffle，因为不管怎么取都是一样的
随机选取，就是为了防止数据过好或者过差，导致可能出现过拟合或者欠拟合情况
任务二：模型创建
  • 创建基于线性模型的分类模型（逻辑回归）
  • 创建基于树的分类模型（决策树、随机森林）
  • 分别使用这些模型进行训练，分别的到训练集和测试集的得分
  • 查看模型的参数，并更改参数值，观察模型变化
提示
  • 逻辑回归不是回归模型而是分类模型，不要与LinearRegression混淆
  • 随机森林其实是决策树集成为了降低决策树过拟合的情况
  • 线性模型所在的模块为sklearn.linear_model
  • 树模型所在的模块为sklearn.ensemble 
#写入代码
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
#写入代码
logit = LogisticRegression()
logit.fit(X_train, y_train)
/Users/learna/miniforge3/lib/python3.9/site-packages/sklearn/linear_model/_logistic.py:814: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(





LogisticRegression()
#写入代码
print("Training set score: {:.2f}".format(logit.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(logit.score(X_test, y_test)))
Training set score: 0.80
Testing set score: 0.79
#写入代码

# 默认参数的随机森林分类模型
rfc = RandomForestClassifier(n_estimators=100, max_depth=5)
rfc.fit(X_train, y_train)
RandomForestClassifier(max_depth=5)
#思考回答
print("Training set score: {:.2f}".format(rfc.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(rfc.score(X_test, y_test)))
Training set score: 0.86
Testing set score: 0.80

【思考】

  • 为什么线性模型可以进行分类任务，背后是怎么的数学关系
  • 对于多分类问题，线性模型是怎么进行分类的

对数线性模型还是线性模型，数据分析模型搭建与基础设计 数据分析及模型建立_数据集_02
对左边y取ln，用指数函数取逼近要拟合的函数y
对于多分类：可以把多分类转成n（n-1）/2个二分类 称这种方式为one vs one
其次另外一种方式one vs rest，训练n个分类器

任务三：输出模型预测结果
  • 输出模型预测分类标签
  • 输出不同分类标签的预测概率
提示3
  • 一般监督模型在sklearn里面有个predict能输出预测标签，predict_proba则可以输出标签概率
#写入代码
predict = logit.predict(X_train)
#写入代码
predict[:10]
array([0, 1, 1, 1, 0, 0, 1, 0, 1, 1])
#写入代码
pred_proba = logit.predict_proba(X_train)
#写入代码
pred_proba[:10]
array([[0.60889254, 0.39110746],
       [0.17661592, 0.82338408],
       [0.40610571, 0.59389429],
       [0.18893155, 0.81106845],
       [0.8798592 , 0.1201408 ],
       [0.91387342, 0.08612658],
       [0.13281204, 0.86718796],
       [0.90556214, 0.09443786],
       [0.05280384, 0.94719616],
       [0.10934485, 0.89065515]])
predict = rfc.predict(X_train)
predict[:10]
array([0, 1, 0, 1, 0, 0, 1, 0, 1, 1])
pred_proba = rfc.predict_proba(X_train)
pred_proba[:10]
array([[0.58770653, 0.41229347],
       [0.135322  , 0.864678  ],
       [0.78558477, 0.21441523],
       [0.13037014, 0.86962986],
       [0.91643458, 0.08356542],
       [0.91466496, 0.08533504],
       [0.12104408, 0.87895592],
       [0.62458679, 0.37541321],
       [0.0201887 , 0.9798113 ],
       [0.03957632, 0.96042368]])

【思考】

  • 预测标签的概率对我们有什么帮助
#思考回答
获取预测标签的概率分布，取最大的概率，可以得到最有可能的分类结果