前言
鸢(yuān)尾花
Iris Data Set(鸢尾属植物数据集)是历史比较悠久的数据集,它首次出现在著名的英国统计学家和生物学家Ronald Fisher 1936年的论文《The use of multiple measurements in taxonomic problems》中,被用来介绍线性判别式分析。
在这个数据集中,包括了三类不同的鸢尾属植物:Iris Setosa,Iris Versicolour,Iris Virginica。每类收集了50个样本,因此这个数据集一共包含了150个样本,每个样本选取4个代表性的特征,它们分别是:
- sepallength:萼片长度,单位是厘米,之后用SL代替
- sepalwidth:萼片宽度,单位是厘米,之后用SW代替
- petallength:花瓣长度,单位是厘米,之后用PL代替
- petalwidth:花瓣宽度,单位是厘米,之后用PW代替
关于这个数据集,可以从sklearn下载,我这里使用的是本地文件,放到和代码执行文件同级目录中:
如果有积分不够的朋友想要下载请在本文下方留言,我看到都会发。
1. 导入鸢尾属植物数据集,保持文本不变。
【知识点:输入和输出】
如何导入存在数字和文本的数据集?
使用这种方式之后,在下面的问题中就可以直接使用getData()来获得数据。
2. 求出鸢尾属植物萼片长度的平均值、中位数和标准差(第1列,sepallength)
【知识点:统计相关】
如何计算numpy数组的均值,中位数,标准差?
3. 创建一种标准化形式的鸢尾属植物萼片长度,其值正好介于0和1之间,这样最小值为0,最大值为1(第1列,sepallength)。
【知识点:统计相关】
如何标准化数组?
思路:
待处理数组全部减去最小值,然后再除以当前的最大值(即原数组最大值和最小值的差)
4. 找到鸢尾属植物萼片长度的第5和第95百分位数(第1列,sepallength)。
【知识点:统计相关】
如何找到numpy数组的百分位数?
5. 把iris_data数据集中的20个随机位置修改为np.nan值。
【知识点:随机抽样】
如何在数组中的随机位置修改值?
方法一:
但是这种方法可能是不稳定的,因为可能随机到相同的位置,如下图所示,只添加了19个nan:
方法二:
这里讲一下思路,首先利用np.shuffle()方法
随机生成20个不重复的600以内的数字,然后利用整除和取余来将其转换为满足要求的二维坐标,然后利用numpy的向量化特性直接对原数据进行赋值。
这种方法有一定的问题,就是没有把最后一行标签放进来,考虑改进:
方法2.1:
还有一个小小的问题,就是这样就不能使用方法二的np.isnan(data)
,否则会报错:
这个问题等价于:
解决办法可以是限定在特征列,保证为float型,因此在之后的解题过程中仍采用方法2的一系列函数定义,方法2.1只作为一个拓展临时使用。
6. 在iris_data的sepallength中查找缺失值的个数和位置(第1列)。
【知识点:逻辑函数、搜索】
如何在numpy数组中找到缺失值的位置?
7. 筛选具有 sepallength(第1列)< 5.0 并且 petallength(第3列)> 1.5 的 iris_data行。
【知识点:搜索】
如何根据两个或多个条件筛选numpy数组?
8. 选择没有任何 nan 值的 iris_data行。
【知识点:逻辑函数、搜索】
如何从numpy数组中删除包含缺失值的行?
9. 计算 iris_data 中sepalLength(第1列)和petalLength(第3列)之间的相关系数。
【知识点:统计相关】
如何计算numpy数组两列之间的相关系数?
10. 找出iris_data是否有任何缺失值。
【知识点:逻辑函数】
如何查找给定数组是否具有空值?
11. 在numpy数组中将所有出现的nan替换为0。
【知识点:逻辑函数】
如何在numpy数组中用0替换所有缺失值?
12. 找出鸢尾属植物物种中的唯一值和唯一值出现的数量。
【知识点:数组操作】
如何在numpy数组中查找唯一值的计数?
13. 将 iris_data 的花瓣长度(第3列)以形成分类变量的形式显示。定义:Less than 3 --> ‘small’;3-5 --> ‘medium’;’>=5 --> ‘large’。
【知识点:统计相关】
如何将数字转换为分类(文本)数组?
14. 在 iris_data 中创建一个新列,其中 volume 是 (pi x petallength x sepallength ^ 2)/ 3。
【知识点:数组操作】
如何从numpy数组的现有列创建新列?
15. 随机抽鸢尾属植物的种类,使得Iris-setosa的数量是Iris-versicolor和Iris-virginica数量的两倍。
【知识点:随机抽样】
如何在numpy中进行概率抽样?
16. 根据 sepallength 列对数据集进行排序。
【知识点:排序】
如何按列对2D数组进行排序?
17. 在鸢尾属植物数据集中找到最常见的花瓣长度值(第3列)。
【知识点:数组操作】
如何在numpy数组中找出出现次数最多的值?
18. 在鸢尾花数据集的 petalwidth(第4列)中查找第一次出现的值大于1.0的位置。
【知识点:搜索】
如何找到第一次出现大于给定值的位置?
这里因为PW是一维数组,所以np.where返回的结果会在外面包裹一层,详见:
The end