文章目录
- Pandas
- Pandas 与 Python联系
- Pandas简介
- 数据结构
- NumPy
- NumPy 与 Python联系
- NumPy简介
- 数据类型ndarray
- ndarray的属性
- NumPy 数据类型
- NumPy 数组属性
Pandas
Pandas 与 Python联系
Pandas 是 Python 语言的一个扩展程序库，用于数据分析。
Pandas简介
Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，Pandas为时间序列分析提供了很好的支持。Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。
数据结构
- Series：是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。
- Time- Series：以时间为索引的Series。
- DataFrame：是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。可以将DataFrame理解为Series的容器。
- Panel ：三维的数组，可以理解为DataFrame的容器。
- Panel4D：是像Panel一样的4维数据容器。
- PanelND：拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。
NumPy
NumPy 与 Python联系
NumPy（Numerical Python）是Python的一种开源的数值计算扩展。可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure）结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
NumPy简介
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
NumPy 的前身 Numeric 最早是由 Jim Hugunin 与其它协作者共同开发，2005 年，Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色，并加入了其它扩展而开发了 NumPy。NumPy 为开放源代码并且由许多协作者共同维护开发。
NumPy是一个运行速度非常快的数学库，主要用于数组计算，包含：
- 一个强大的N维数组对象 ndarray
- 广播功能函数
- 整合 C/C++/Fortran 代码的工具
- 线性代数、傅里叶变换、随机数生成等功能
数据类型ndarray
NumPy提供了一个N维数组类型ndarray，它描述了相同类型的“items”的集合。
ndarray到底跟原生python列表的区别：
从图中我们可以看出ndarray在存储数据的时候，数据与数据的地址都是连续的，这样就给使得批量操作数组元素时速度更快。
这是因为ndarray中的所有元素的类型都是相同的，而Python列表中的元素类型是任意的，所以ndarray在存储元素时内存可以连续，而python原生list就只能通过寻址方式找到下一个元素，这虽然也导致了在通用性能方面Numpy的ndarray不及Python原生list，但在科学计算中，Numpy的ndarray就可以省掉很多循环语句，代码使用方面比Python原生list简单的多。
numpy内置了并行运算功能，当系统有多个核心时，做某种计算时，numpy会自动做并行计算。
Numpy底层使用C语言编写，数组中直接存储对象，而不是存储对象指针，所以其运算效率远高于纯Python代码。
ndarray的属性
生成数组的方法：
empty(shape[, dtype, order])
empty_like(a[, dtype, order, subok])
eye(N[, M, k, dtype, order])
identity(n[, dtype])
ones(shape[, dtype, order])
ones_like(a[, dtype, order, subok])
zeros(shape[, dtype, order])
zeros_like(a[, dtype, order, subok])
full(shape, fill_value[, dtype, order])
full_like(a, fill_value[, dtype, order, subok])NumPy 数据类型
numpy 支持的数据类型比 Python 内置的类型要多很多，基本上可以和 C 语言的数据类型对应上，其中部分类型对应为 Python 内置的类型。下表列举了常用 NumPy 基本类型。
名称 | 描述 |
bool_ | 布尔型数据类型（True 或者 False） |
int_ | 默认的整数类型（类似于 C 语言中的 long，int32 或 int64） |
intc | 与 C 的 int 类型一样，一般是 int32 或 int 64 |
intp | 用于索引的整数类型（类似于 C 的 ssize_t，一般情况下仍然是 int32 或 int64） |
int8 | 字节（-128 to 127） |
int16 | 整数（-32768 to 32767） |
int32 | 整数（-2147483648 to 2147483647） |
int64 | 整数（-9223372036854775808 to 9223372036854775807） |
uint8 | 无符号整数（0 to 255） |
uint16 | 无符号整数（0 to 65535） |
uint32 | 无符号整数（0 to 4294967295） |
uint64 | 无符号整数（0 to 18446744073709551615） |
float_ | float64 类型的简写 |
float16 | 半精度浮点数，包括：1 个符号位，5 个指数位，10 个尾数位 |
float32 | 单精度浮点数，包括：1 个符号位，8 个指数位，23 个尾数位 |
float64 | 双精度浮点数，包括：1 个符号位，11 个指数位，52 个尾数位 |
complex_ | complex128 类型的简写，即 128 位复数 |
complex64 | 复数，表示双 32 位浮点数（实数部分和虚数部分） |
complex128 | 复数，表示双 64 位浮点数（实数部分和虚数部分） |
numpy 的数值类型实际上是 dtype 对象的实例，并对应唯一的字符，包括 np.bool_，np.int32，np.float32，等等。
NumPy 数组属性
NumPy 数组的维数称为秩（rank），秩就是轴的数量，即数组的维度，一维数组的秩为 1，二维数组的秩为 2，以此类推。
在 NumPy中，每一个线性的数组称为是一个轴（axis），也就是维度（dimensions）。比如说，二维数组相当于是两个一维数组，其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumPy 中的轴（axis），第一个轴相当于是底层数组，第二个轴是底层数组里的数组。而轴的数量——秩，就是数组的维数。
很多时候可以声明 axis。axis=0，表示沿着第 0 轴进行操作，即对每一列进行操作；axis=1，表示沿着第1轴进行操作，即对每一行进行操作。
NumPy 的数组中比较重要 ndarray 对象属性有：
属性 | 说明 |
ndarray.ndim | 秩，即轴的数量或维度的数量 |
ndarray.shape | 数组的维度，对于矩阵，n 行 m 列 |
ndarray.size | 数组元素的总个数，相当于 .shape 中 n*m 的值 |
ndarray.dtype | ndarray 对象的元素类型 |
ndarray.itemsize | ndarray 对象中每个元素的大小，以字节为单位 |
ndarray.flags | ndarray 对象的内存信息 |
ndarray.real | ndarray元素的实部 |
ndarray.imag | ndarray 元素的虚部 |
ndarray.data | 包含实际数组元素的缓冲区，由于一般通过数组的索引获取元素，所以通常不需要使用这个属性。 |
