前言

鸢(yuān)尾花

Iris Data Set(鸢尾属植物数据集)是历史比较悠久的数据集,它首次出现在著名的英国统计学家和生物学家Ronald Fisher 1936年的论文《The use of multiple measurements in taxonomic problems》中,被用来介绍线性判别式分析。

在这个数据集中,包括了三类不同的鸢尾属植物:Iris Setosa,Iris Versicolour,Iris Virginica。每类收集了50个样本,因此这个数据集一共包含了150个样本,每个样本选取4个代表性的特征,它们分别是:

  • sepallength:萼片长度,单位是厘米,之后用SL代替
  • sepalwidth:萼片宽度,单位是厘米,之后用SW代替
  • petallength:花瓣长度,单位是厘米,之后用PL代替
  • petalwidth:花瓣宽度,单位是厘米,之后用PW代替

关于这个数据集,可以从sklearn下载,我这里使用的是本地文件,放到和代码执行文件同级目录中:

鸢尾花 Spearman python 鸢尾花几月开放_python


如果有积分不够的朋友想要下载请在本文下方留言,我看到都会发。

1. 导入鸢尾属植物数据集,保持文本不变。

【知识点:输入和输出】

如何导入存在数字和文本的数据集?

鸢尾花 Spearman python 鸢尾花几月开放_numpy_02

使用这种方式之后,在下面的问题中就可以直接使用getData()来获得数据。

2. 求出鸢尾属植物萼片长度的平均值、中位数和标准差(第1列,sepallength)

【知识点:统计相关】

如何计算numpy数组的均值,中位数,标准差?

鸢尾花 Spearman python 鸢尾花几月开放_机器学习_03

3. 创建一种标准化形式的鸢尾属植物萼片长度,其值正好介于0和1之间,这样最小值为0,最大值为1(第1列,sepallength)。

【知识点:统计相关】

如何标准化数组?

思路:

待处理数组全部减去最小值,然后再除以当前的最大值(即原数组最大值和最小值的差)

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_04

4. 找到鸢尾属植物萼片长度的第5和第95百分位数(第1列,sepallength)。

【知识点:统计相关】

如何找到numpy数组的百分位数?

鸢尾花 Spearman python 鸢尾花几月开放_机器学习_05

5. 把iris_data数据集中的20个随机位置修改为np.nan值。

【知识点:随机抽样】

如何在数组中的随机位置修改值?

方法一:

鸢尾花 Spearman python 鸢尾花几月开放_鸢尾花 Spearman python_06


但是这种方法可能是不稳定的,因为可能随机到相同的位置,如下图所示,只添加了19个nan:

鸢尾花 Spearman python 鸢尾花几月开放_python_07


方法二:

鸢尾花 Spearman python 鸢尾花几月开放_鸢尾花 Spearman python_08


这里讲一下思路,首先利用np.shuffle()方法随机生成20个不重复的600以内的数字,然后利用整除和取余来将其转换为满足要求的二维坐标,然后利用numpy的向量化特性直接对原数据进行赋值。

这种方法有一定的问题,就是没有把最后一行标签放进来,考虑改进:

方法2.1:

鸢尾花 Spearman python 鸢尾花几月开放_python_09


还有一个小小的问题,就是这样就不能使用方法二的np.isnan(data),否则会报错:

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_10


这个问题等价于:

鸢尾花 Spearman python 鸢尾花几月开放_鸢尾花 Spearman python_11

解决办法可以是限定在特征列,保证为float型,因此在之后的解题过程中仍采用方法2的一系列函数定义,方法2.1只作为一个拓展临时使用。

6. 在iris_data的sepallength中查找缺失值的个数和位置(第1列)。

【知识点:逻辑函数、搜索】

如何在numpy数组中找到缺失值的位置?

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_12

7. 筛选具有 sepallength(第1列)< 5.0 并且 petallength(第3列)> 1.5 的 iris_data行。

【知识点:搜索】

如何根据两个或多个条件筛选numpy数组?

鸢尾花 Spearman python 鸢尾花几月开放_numpy_13

8. 选择没有任何 nan 值的 iris_data行。

【知识点:逻辑函数、搜索】

如何从numpy数组中删除包含缺失值的行?

鸢尾花 Spearman python 鸢尾花几月开放_机器学习_14

9. 计算 iris_data 中sepalLength(第1列)和petalLength(第3列)之间的相关系数。

【知识点:统计相关】

如何计算numpy数组两列之间的相关系数?

鸢尾花 Spearman python 鸢尾花几月开放_鸢尾花 Spearman python_15

10. 找出iris_data是否有任何缺失值。

【知识点:逻辑函数】

如何查找给定数组是否具有空值?

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_16

11. 在numpy数组中将所有出现的nan替换为0。

【知识点:逻辑函数】

如何在numpy数组中用0替换所有缺失值?

鸢尾花 Spearman python 鸢尾花几月开放_numpy_17

12. 找出鸢尾属植物物种中的唯一值和唯一值出现的数量。

【知识点:数组操作】

如何在numpy数组中查找唯一值的计数?

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_18

13. 将 iris_data 的花瓣长度(第3列)以形成分类变量的形式显示。定义:Less than 3 --> ‘small’;3-5 --> ‘medium’;’>=5 --> ‘large’。

【知识点:统计相关】

如何将数字转换为分类(文本)数组?

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_19

14. 在 iris_data 中创建一个新列,其中 volume 是 (pi x petallength x sepallength ^ 2)/ 3。

【知识点:数组操作】

如何从numpy数组的现有列创建新列?

鸢尾花 Spearman python 鸢尾花几月开放_机器学习_20

15. 随机抽鸢尾属植物的种类,使得Iris-setosa的数量是Iris-versicolor和Iris-virginica数量的两倍。

【知识点:随机抽样】

如何在numpy中进行概率抽样?

鸢尾花 Spearman python 鸢尾花几月开放_机器学习_21

16. 根据 sepallength 列对数据集进行排序。

【知识点:排序】

如何按列对2D数组进行排序?

鸢尾花 Spearman python 鸢尾花几月开放_鸢尾花 Spearman python_22

17. 在鸢尾属植物数据集中找到最常见的花瓣长度值(第3列)。

【知识点:数组操作】

如何在numpy数组中找出出现次数最多的值?

鸢尾花 Spearman python 鸢尾花几月开放_鸢尾花 Spearman python_23

18. 在鸢尾花数据集的 petalwidth(第4列)中查找第一次出现的值大于1.0的位置。

【知识点:搜索】

如何找到第一次出现大于给定值的位置?

鸢尾花 Spearman python 鸢尾花几月开放_数据分析_24

这里因为PW是一维数组,所以np.where返回的结果会在外面包裹一层,详见:

鸢尾花 Spearman python 鸢尾花几月开放_机器学习_25


The end