gpt4 book ai didi

python - 是否可以附加到现有的 Feathers 格式文件?

转载 作者:行者123 更新时间:2023-12-04 01:50:15 24 4
gpt4 key购买 nike

我正在处理一个包含 2000 万多条记录的非常庞大的数据集。我正在尝试将所有数据保存为 Feather 格式以便更快地访问,并在我继续分析时追加。

有没有办法将 Pandas 数据帧附加到现有的 Feather 格式文件?

最佳答案

Feather 文件旨在立即写入。因此,附加到它们不是受支持的用例。

相反,我会向您推荐如此大的数据集,使用 pyarrow.parquet.write_table 将数据写入单独的 Apache Parquet 文件中。或 pandas.DataFrame.to_parquet并使用 pyarrow.parquet.ParquetDataset 将数据读回 Pandas或 pandas.read_parquet .这些函数可以将 Parquet 文件的集合视为单个数据集,该数据集可以立即读取到单个 DataFrame 中。

关于python - 是否可以附加到现有的 Feathers 格式文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53488351/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com