小量最近用PySCF计算Hartree-Fock轨道传递给自己的程序使用,为了保证精度和节省硬盘空间,使用二进制文件来传递数据。本文简单小结一下Python的二进制文件的读写。

在Python中实现二进制文件的读写需要导入struct模块,对数据进行打包处理再写入文件。以下直接举一个简短的程序示例:

1   #!/usr/bin/python
  2   import struct
  3   f = open('test.bin', 'w+b')
  4   a0 = 1
  5   a1 = 2
  6   data = struct.pack('2i', a0, a1)
  7   f.write(data)
  8   f.seek(0)
  9   data2 = f.read()
 10   (a, b) = struct.unpack('ii', data2)
 11   print a, b

第3行,打开文件时,模式需要添加'b'模式,表示二进制模式。注意,以读写模式打开时,不能写rw,应该写r+或w+模式。

第6行,将数据转化成二进制并进行打包。其通用格式为struct.pack(fmt,v1,v2,...)。由于python中数据不需要声明类型,因此需要在打包时指明数据类型,才能确定数据的字节数。例如本例中2i表示将两个整型数进行打包。各种数据类型所用的符号以及所占的字节数在Python的官方手册中有列表:

python 导入二进制文件 python用二进制读取文件_python读取16进制文件

第7行,将数据写入文件。

第10行,将读出的数据解包,并根据数据类型转化为普通格式。注意,解包出来的数据会构成一个元组,因此,如果只有一个数据,要写成a,或者(a,)。

笔者遇到一个问题,始终不知道是何原因,如果有小伙伴知道,请留言告知。笔者尝试将一个整数和一个浮点数打包,格式为'id',按理来说,i占4位,d占8位,得到的数据应该是12位,但观察到的是16位。后来笔者又用做了一系列测试,结果如下:

>>> struct.calcsize('id')
16
>>> struct.calcsize('iid')
16
>>> struct.calcsize('iiid')
24
>>> struct.calcsize('iiiid')
24
>>> struct.calcsize('iiiiid')
32
>>> struct.calcsize('iiiiiid')
32

当i的个数为奇数时,始终会多计算4位。不知当中有何玄机。为避免这个问题,建议大家将不同类型的数据分批打包,依次写入文件。例如第一次单独写一个i类型数据,第二次单独写入一个d类型数据,得到的大小就是12。

最后,顺便提一下Fortran中二进制文件的读写。在彭国伦的教材中提到,文件的格式有两种:formatted和unformatted,其实还有第三种格式:binary。如果用Fortran程序读取上述Python代码生成的二进制文件,使用unformatted时,无法正常读出,需要写成binary格式:

program main
implicit none
integer*4 a,b
open(unit=10,file='test.bin',form='binary')
read(10) a,b
write(*,*) a,b
end

注意在Python中是以4位存储的整数,因此在Fortran中要声明4位的整数来读取。