python - 是否可以在不阅读的情况下连接(合并)csv 文件？ ( python ，木星)

Question

我的路径中有 2 个 csv 文件。我想在不阅读的情况下连接或合并 2 个文件。这是针对数据加载问题和合并错误(大量数据)

my folder/a.csv
my folder/b.csv

---

使用>制作a.csv + b.csv/不使用pd.read_csv

Answer 1

实现此目的的一种选择是使用 dask:

from dask.dataframe import read_csv, concat

df1 = read_csv('my folder/a.csv')
df2 = read_csv('my folder/b.csv')

final_df = concat([df1, df2])

final_df.to_csv('combined.csv', index=False, single_file=True)

这可以很容易地扩展到多个 csv 的情况(假设它们具有相同的列结构):

from dask.dataframe import read_csv

final_df = read_csv('my folder/*.csv')
final_df.to_csv('combined.csv', index=False, single_file=True)