gpt4 book ai didi

python - 在python中高效读取和验证csv文件

转载 作者:行者123 更新时间:2023-11-28 18:30:14 26 4
gpt4 key购买 nike

<分区>

我有多个 csv 文件 (<10 G),我需要以节省内存的方式一个一个地验证文件。我的验证包括

1->正确分隔的文件

2->验证某些列,作为整数/小数

3-> 验证某些列的日期格式(例如 yyyy/MM/dd)。

目前我正在使用

with open(file_name, 'r') as myCSV:
CSVreader = csv.reader(myCSV)
for row in CSVreader:
my_logic

并循环每一行并验证每行的条件。有没有更好的库/方法可用?我听说过 pandas 不知道它是否有内存效率。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com