gpt4 book ai didi

python - Pyarrow 数据集读取特定列和特定行

转载 作者:行者123 更新时间:2023-12-05 02:59:25 73 4
gpt4 key购买 nike

有没有办法使用 pyarrow parquet 数据集来读取特定的列,如果可能的话过滤数据而不是将整个文件读入数据框?

最佳答案

pyarrow==2.0.0 开始,这至少可以通过 pyarrow.parquet.ParquetDataset 实现.

读取特定列,它的readread_pandas 方法有一个columns 选项。您也可以使用 pandas.read_parquet 执行此操作。

读取特定行,它的__init__ 方法有一个filters 选项。

关于python - Pyarrow 数据集读取特定列和特定行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57878769/

73 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com