python数据流计算 python读取数据流

转载

mob64ca14101b2f 2023-08-30 09:12:51

文章标签 python数据流计算 python excel csv 数据库 文章分类 Python 后端开发

python处理数据文件的途径有很多种，可以操作的文件类型主要包括文本文件（csv,txt,json等）、excel文件、数据库文件、api等其他数据文件。

1.read、readline、readlines

read():一次性读取整个文件的内容。read(size)方法，size越大运行时间越长
readline():每次读取一行内容。内存不够时使用
readlines():一次性读取整个文件内容，并按行返回到list，方便我们遍历

2.内置模块csv

python内置了csv模块用于读写csv文件，csv是一种逗号分隔符文件，是数据科学中最常见的数据存储格式之一。

csv模块读取文件

import csv
with open('test.csv','r') as myFile:
	lines = csv.reader(myFile)
	for line in lines:
		print(line)

csv模块写入文件

import csv
with open('test.csv','w+') as myFile:
	myWriter = csv.writer(myFile)
	# writerow一行一行写入
	myWriter.writerow([1,2,3])
	myWriter.writerow([4,5,6])
	# writerows多行写入
	mylist = [[1,2,3],[4,5,6]]
	myWriter.writerows(mylist)

3.numpy库

loadtxt方法
loadtxt用来读取文本文件（包含txt、csv等）以及.gz或.bz2格式压缩文件，前提是文件数据每一行必须要有数量相同的值

import numpy as np
np.loadtxt('test.csv',dtype=str)
# dtype：数据类型，读取的数据以此类型存储;默认设置为float

load方法
load用来读取numpy专用的.npy,.npz或者pickled持久化文件。

import numpy as np
np.load('test.npy')

fromfile方法
fromfile方法可以读取简单的文本数据或者二进制数据，数据源于tofile方法保存的二进制数据。读取数据时需要用户指定元素类型，并对数组的形状进行适当的修改。

import numpy as np
x = np.arange(9).reshape(3,3)
# np.arange()作用等同于range()
x.tofile('test.bin')
res = np.fromfile('test.bin',dtype=)
print(res)  # [0,1,2,3,4,5,6,7,8]