python日记——Pandas之数据特征分析
- Pandas库的数据排序
1、.sort_index()方法在指定轴上根据索引进行排序,默认升序:
.sort_index(axis=0, ascending=True)
2、.sort_values()方法在指定轴上根据数值进行排序,默认升序:
Series.sort_values(axis=0, ascending=True)
DataFrame.sort_values(by(axis轴上的某个索引或索引列表), axis=0, ascending=True)
3、NaN统一放到排序末尾 - merge操作
1、merge是合并数据集的操作
2、merge参数一览表: - 3、通过pd.merge()方法设置连接字段,默认参数how是inner内连接,并且会按照相同的字段key进行合并,即等价于notallow=‘key’。
4、pd.merge()方法设置连接方法。
主要包括inner(内连接)、outer(外链接)、left(左连接)、right(右连接)。参数how采用outer外连接时,会取并集,并用NaN填充。 - apply自定义函数操作
pandas 的 apply() 函数可以作用于 Series 或者整个 DataFrame,功能也是自动遍历整个 Series 或者 DataFrame, 对每一个元素运行指定的函数 - 数据透视表
1、透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表,也体会到它的强大功能,而在pandas中它被称作pivot_table。
2、pivot_table有四个最重要的参数index、columns、values、aggfunc
3、index就是层次字段,要通过透视表获取什么信息就按照相应的顺序设置字段,values可以对需要的计算数据进行筛选,aggfunc参数可以设置我们对数据聚合时进行的函数操作(默认aggfunc=‘mean’,计算均值),columns类似index可以设置列层次字段,它不是一个必要参数,作为一种分割数据的可选方式。
4、调用方式:df.pivot_table() - 数据的基本统计分析
1、 df.groupby():对数据进行分组 - 2、基本的统计分析函数
适用于Series和DataFrame: - 适用于Series:
- 适用于Series和DataFrame:
.describe()函数可以一次性产生几乎所有的统计分析值 - 数据的累计统计分析
1、累计统计分析函数:
适用于Series和DataFrame类型,累计计算: - 适用于Series和DataFrame类型,滚动计算(窗口计算):
- 数据的相关分析
1、两个事务的相关性:正相关、负相关、不相关
2、常用协方差判断相关性:协方差>0为正相关,协方差<0为负相关,协方差=0为独立不相关
3、相关分析函数:
适用于Series和DataFrame类型: - .value_counts()
在pandas里面常用value_counts确认数据出现的频率: