1、numpy数据存储及加载


作者：奋斗的珞珞
NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。

1.1 tofile()和fromfile()

  • tofile()将数组中的数据以二进制存入文件，输出的数组并不保存数组形状和元素类型等信息。
  • fromfile() 函数读入数据时，需要用户明确指定元素类型，并对数组形状进行适当的需改。

python保存numpy的数组 numpy保存txt_NumPy

从上面的例子可以看出，在读入数据时:需要正确设置dtype参数，并修改数组的shape属性才能得到和原始数据一致的结果。无论数据的排列顺序是C语言格式还是Fortran语言格式，tofile()都统一使用C语言格式输出。此外如果指定了sep参数，则fromfile()和tofile()将以文本格式对数组进行输入输出。sep参数指定的是文本数据中数值的分隔符

1.2save()和load()

  • NumPy专用的二进制格式保存数据，它们会自动处理元素类型和形状等信息
  • 如果想将多个数组保存到一个文件中，可以使用savez()
  • savez()的第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起名
  • 非关键字参数传递的数组会自动起名为arr_0、arr_1、…。
  • savez()输出的是一个扩展名为npz的压缩文件，其中每个文件都是一个save()保存的npy文件，文件名和数组名相同
  • load()自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名作为键获取数组的内容

可以看出，以上调用风格跟matlab调用很相似（*.mat）

In [19]: b=np.arange(0,1,0.1)
In [20]: b
Out[20]: array([ 0. ,  0.1,  0.2,  0.3,  0.4,  0.5,  0.6,  0.7,  0.8,  0.9])
In [21]: c=np.sin(b)
In [22]: np.savez('out.npz',a,b,sin_array=c)
In [23]: r=np.load('out.npz')
In [24]: r['arr_0']
Out[24]: ##输出a
array([[0, 1, 2],
       [3, 4, 5]])
In [25]: r['b']  ##直接用名称调用，会出错
----------------------------------------------------------
KeyError: 'b is not a file in the archive'

In [26]: r['sin_array']  ######### 利用别名，可以成功调用
Out[26]:
array([ 0.        ,  0.09983342,  0.19866933,  0.29552021,  0.38941834,
        0.47942554,  0.56464247,  0.64421769,  0.71735609,  0.78332691])

1.3 savetxt()和loadtxt()

  • 只能处理 1维和2维数组
  • 可以用于CSV格式文本文件
array([[  0. ,   0.5,   1. ,   1.5,   2. ,   2.5],
       [  3. ,   3.5,   4. ,   4.5,   5. ,   5.5],
       [  6. ,   6.5,   7. ,   7.5,   8. ,   8.5],
       [  9. ,   9.5,  10. ,  10.5,  11. ,  11.5]])

InIn [31]: np.savetxt('a.txt',a) #缺省按'%.18e'格式保存数值，以空格分隔

python保存numpy的数组 numpy保存txt_数组_02

上述为保存的文件数据格式。

In [34]: np.savetxt('a.txt',a,fmt='%d',delimiter=',')
In [35]: b=loadtxt('a.txt',delimiter=',')
In [36]: b=np.loadtxt('a.txt',delimiter=',')
In [37]: b
Out[37]:
array([[  0.,   0.,   1.,   1.,   2.,   2.],
       [  3.,   3.,   4.,   4.,   5.,   5.],
       [  6.,   6.,   7.,   7.,   8.,   8.],
       [  9.,   9.,  10.,  10.,  11.,  11.]])
In [38]: b.dtype
Out[38]: dtype('float64')   ### 导入的数据格式依然是float形式

使用matlab可直接加载txt数据

load('a.txt')
 或
 [a1,a2,a3,a4]=textread('test1.txt','%s%s%s%s','headerlines',4)
说明：%s可以是其他形式，跟读入的数据类型有关，比如这里也可以用%n,%f等。
这里%s的个数和[a1,a2,a3,a4]对应