gpt4 book ai didi

将大文件读入 R

转载 作者:行者123 更新时间:2023-12-04 22:48:25 26 4
gpt4 key购买 nike

我是 R 的新手,但我知道它会因“大”文件而窒息。我正在尝试读取 200MB 的数据文件。我已经以 csv 格式尝试过,并将其转换为制表符分隔的 txt,但在这两种情况下,我在文件加载之前都用完了 4GB 的 RAM。

R 使用 4GB 或内存来加载 200MB 的文件是否正常,或者文件是否有问题,导致 R 继续读取除数据之外的一堆虚无?

最佳答案

来自 ?read.table

Less memory will be used if colClasses is specified as one of the six atomic vector classes.

...
Using nrows, even as a mild over-estimate, will help memory usage.

使用这两个参数。

确保您正确指定 numeric为您的数字数据。看这里: Specifying colClasses in the read.csv

不要低估 nrows。

如果您运行的是 64 位 R,则可以尝试 32 位版本。它将使用更少的内存来保存相同的数据。

参见此处: Extend memory size limit in R

关于将大文件读入 R,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14294217/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com