CsvFileSource 参数分隔符修改csv文件分隔符

转载

笑傲江湖求败 2024-06-23 20:15:59

文章标签 CsvFileSource 参数分隔符 mysql 双引号 sql 文章分类 计算机视觉人工智能

csv文件

csv文件简介

参看 RFC 4180
http://www.ietf.org/rfc/rfc4180.txt
逗号分隔值Comma-Separated Values。
CSV 是一个被行分隔符、列分隔符划分成行和列的文本文件,CSV 不指定字符编码。
行分隔符为\r\n，最后一行可以没有换行符列分隔符常为逗号或者制表符。每一行称为一条记录record
字段可以使用双引号括起来，也可以不使用。如果字段中出现了双引号、逗号、换行符必须使用双引号括起来。如果字段的值是双引号，使用两个双引号表示一个转义。
表头可选，和字段列对齐就行了。

手动生成csv文件

from pathlib import Path
p = Path('F:/work/001/a/myfile.csv')
parent = p.parent
if not parent.exists():    
    parent.mkdir(parents=True)
    
csv_body = '''
\id,name,age,comment
1,zs,18,"I'm 18"
2,ls,20,"this is a ""test"" string."
3,ww,23,
"hello world"
'''

with p.open('w+') as f:
    f.write(csv_body)

csv 模块

reader(csvfile, dialect=‘excel’, **fmtparams),返回reader对象，是一个行迭代器。默认使用excel方言，如下：

delimiter 列分隔符,逗号
lineterminator 行分隔符\r , \n

quotechar 字段的引用符号，缺省为" 双引号
双引号的处理

doublequote 双引号的处理，默认为True。如果碰到数据中有双引号，而quotechar也是双引号，True则使用2个双引号表示，False表示使用转义字符将作为双引号的前缀
escapechar 一个转义字符，默认为None
writer = csv.writer(f, doublequote=False, escapechar=’@’) 遇到双引号，则必须提供转义字符

quoting 指定双引号的规则

QUOTE_ALL 所有字段
QUOTE_MINIMAL特殊字符字段，Excel方言使用该规则
QUOTE_NONNUMERIC非数字字段
QUOTE_NONE都不使用引号。

writer(csvfile, dialect=‘excel’, **fmtparams), 返回DictWriter的实例。主要方法有writerow、writerows。writerow(iterable)

from pathlib import Path
from os import path
import os
import csv

p = Path('f:work/003/a.csv')
csv_body = '''\
id,name,age,comment
1,zs,18,"I'm 18"
2,ls,20,"this is a ""test"" string."
3,ww,23,
"hello world"
'''

with p.open('w+') as f1:
   f1.write(csv_body)

rows=[
[1,"zs",18,"I'm 18"],
[2,"ls",20,"this is a ""test"" string."],
[3,"ww",23,]
]

with open(p, 'a', newline= '') as f1:
   writer = csv.writer(f1)
   writer.writerows(rows)
   print(f1)
   
with open(p, newline='') as f1:
   body = csv.reader(f1)
   #     print(body)
   for line in body:
       print(line, type(line))

-------------------------------------------------------
<_io.TextIOWrapper name='f:work\\003\\a.csv' mode='a' encoding='cp936'>
['id', 'name', 'age', 'comment'] <class 'list'>
['1', 'zs', '18', "I'm 18"] <class 'list'>
['2', 'ls', '20', 'this is a "test" string.'] <class 'list'>
['3', 'ww', '23', ''] <class 'list'>
['hello world'] <class 'list'>
['1', 'zs', '18', "I'm 18"] <class 'list'>
['2', 'ls', '20', 'this is a test string.'] <class 'list'>
['3', 'ww', '23'] <class 'list'>

说明row行，需要一个可迭代对象就可以，可迭代的每一个元素，将作为csv行的每一个元素。windows下在会在每行末尾多出一个\r，解决办法open(‘test.csv’, ‘w’, newline=’’)

ini 文件处理

ini 配置文件

[DEFAULT]   #此处的的section 为缺省值必须是大写
a = test

[mysql]
default=utf8
a = 1000

[mysqld]
dataport = 33060
character=utf8
sql=xyz

中括号里面的部分称为section，译作节、区、段。每一个section内，都是key=value形成的键值对，key称为option选项。注意这里的DEFAULT是缺省section的名字，必须大写.

configparser

configparser模块的ConfigParser类就是用来操作。可以将section当做key,(例如’[mysql]'当做key,'a=100’当做value)，section存储着键值对组成的字典，可以把ini配置文件当做一个嵌套的字典。默认使用的是有序字典

import configparser   #导入configparser模块的ConfigParser类
cfg = configparser.ConfigParser()    # 实例化一个对象
# read_ok = cfg.read('f:work/test/test0.ini')
read_ok = cfg.read(['f:work/test/test0.ini','f:work/001/abc.ini','f:work/002/abc.ini'])
print(read_ok)

print(cfg.sections())
print(cfg.default_section)
print(cfg._sections)  用这种方法直接读取到内部的k,v对
------------------------------------------------------------
['f:work/test/test0.ini'] # f:work/001/abc.ini,f:work/002/abc.ini,不存在,读取失败
['mysql', 'mysqld']
DEFAULT
OrderedDict([('mysql', OrderedDict([('default', 'utf8'), ('a', '1000')])), ('mysqld', OrderedDict([('dataport', '33060'), ('character', 'utf8'), ('sql', 'xyz')]))])

使用for循环遍历

for k,v in cfg.items():
    print(type(k),k,type(v),v)
------------------------------------------------------------
<class 'str'> DEFAULT <class 'configparser.SectionProxy'> <Section: DEFAULT>
<class 'str'> mysql <class 'configparser.SectionProxy'> <Section: mysql>
<class 'str'> mysqld <class 'configparser.SectionProxy'> <Section: mysqld>

for k,v in cfg.items('mysqld'):
    print(type(k),k,type(v),v)
------------------------------------------------------------
<class 'str'> a <class 'str'> test   # 拿到缺省[DEFAULT]中的test
<class 'str'> dataport <class 'str'> 33060
<class 'str'> character <class 'str'> utf8
<class 'str'> sql <class 'str'> xyz

x = cfg.get('mysqld','sql')   #对配置文件取区段mysqld下的值
print(x,type(x))
cfg.set('mysqld','a','123')   #对配置文件取区段mysqld下写入 a = 123,必须都是字符串
print(cfg.get('mysqld','a'))
------------------------------------------------------------
xyz <class 'str'>
123

最后写入磁盘(存盘)

with open('f:work/test/test0.ini','w') as f:
    cfg.write(f)

读取ini文件，可以是单个文件，也可以是文件列表。可以指定文件编码
read(filenames, encoding=None)

read_ok = cfg.read(['f:work/test/test0.ini','f:work/001/abc.ini','f:work/002/abc.ini'])

sections()返回section列表。缺省section不包括在内

print(cfg.sections())
------------------------------------------------------------
['f:work/test/test0.ini']

add_section(section_name)增加一个section
has_section(section_name)判断section是否存在
options(section)返回section的所有option，会追加缺省section的option

cfg.options('mysqld')
------------------------------------------------------------
['dataport', 'character', 'sql']

从指定的段的选项上取值，如果找到返回，如果没有找到就去找DEFAULT段有没有。
get(section, option, *, raw=False, vars=None[, fallback])

x = cfg.get('mysqld','sql')   #对配置文件取区段mysqld下的值
print(x,type(x))
cfg.set('mysqld','a','123')   #对配置文件取区段mysqld下写入 a = 123,必须都是字符串
print(cfg.get('mysqld','a'))
------------------------------------------------------------
xyz <class 'str'>
123

• getint(section, option, *, raw=False, vars=None[, fallback])
• getfloat(section, option, *, raw=False, vars=None[, fallback])
• getboolean(section, option, *, raw=False, vars=None[, fallback])

上面3个方法和get一样，返回指定类型数据

• items(raw=False, vars=None)
• items(section, raw=False, vars=None

没有section，则返回所有section名字及其对象；如果指定section，则返回这个指定的section的键值对组成二元组

for k,v in cfg._sections.items():    
    print(k,",",v)
for k,v in cfg._sections['mysqld'].items():    
    print(k,v)
------------------------------------------------------------
mysql , OrderedDict([('default', 'utf8'), ('a', '1000')])
mysqld , OrderedDict([('dataport', '33060'), ('character', 'utf8'), ('sql', 'xyz'), ('a', '123')])
dataport 33060
character utf8
sql xyz
a 123

set(section, option, value)
section存在的情况下，写入option=value，要求option、value必须是字符串

cfg.set('mysqld','a','123')   #对配置文件取区段mysqld下写入 a = 123,必须都是字符串
print(cfg.get('mysqld','a'))
------------------------------------------------------------
xyz <class 'str'>

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。