python - 将数据保存到pandas中的多个csv文件中

Question

我从 .gov 网站获得了以下数据:

import pandas as pd
import io
import requests
url="https://download.bls.gov/pub/time.series/la/la.data.64.County"
s=requests.get(url).content
c=pd.read_csv(io.StringIO(s.decode('utf-8')))

行数是 4942096。我想将所有这些放入多个 csv 文件中。

我知道如何获得第一百万:

c.to_csv('nick.csv', index = False, chunksize = 1000000)

如何获得其余部分？

Answer 1

您可以循环遍历文件并将其保存为:

filename = io.StringIO(s.decode('utf-8'))
# ^ not tested this but assuming it would work for readability sake. 

chunk_size = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunk_size):
    chunk.to_csv('nick.csv.gz',compression='gzip',index=False)

您需要添加某种命名约定，否则您将覆盖该文件。我还添加了 gzip 压缩，这显着加快了写入时间。

我只是个人添加一个计数器

chunk_size = 10 ** 6
counter = 0
for chunk in pd.read_csv(filename, chunksize=chunk_size):
    counter = counter + 1
    chunk.to_csv(f'nick_{str(counter)}.csv.gz',compression='gzip',index=False)