gpt4 book ai didi

r - 从 R 中的 CSV 文件创建 Parquet 文件目录

转载 作者:行者123 更新时间:2023-12-04 13:09:50 24 4
gpt4 key购买 nike

我遇到越来越多的情况,需要在 R 中使用内存不足 (OOM) 方法进行数据分析。我熟悉其他 OOM 方法,例如 sparklyrDBI但我最近遇到了 arrow并想更多地探索它。
问题是我通常使用的平面文件足够大,没有帮助就无法将它们读入 R。因此,理想情况下,我更喜欢一种进行转换的方法,而实际上不需要首先将数据集读入 R。
您能提供的任何帮助将不胜感激!

最佳答案

arrow::open_dataset()可以处理文件目录并查询它们,而无需将所有内容读入内存。如果您确实想将数据重写到多个文件中,可能由数据中的一列或多列分区,您可以将 Dataset 对象传递给 write_dataset() .
一个(临时)警告:从 {arrow} 3.0.0 开始,open_dataset()只接受一个目录,不接受单个文件路径。我们计划在下一个版本中接受单个文件路径或离散文件路径列表(请参阅 issue ),但是现在如果您只需要读取包含其他非数据文件的目录中的单个文件,您'需要将它移动/符号链接(symbolic link)到一个新目录并打开它。

关于r - 从 R 中的 CSV 文件创建 Parquet 文件目录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66710855/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com