r - 异步写入R中的文件

Question

谁能为我提供一些有关如何从一个非常大的文件块中进行异步写入的指导，这些文件在多个集群(8-500)中都使用相同的功能进行处理。该文件约为25 GB，太大而无法容纳在内存中。

我们目前正在使用“snow(fall)”和“mmap”包，但无法克服某些瓶颈。同步写可以很好地工作，但是异步写会更有效率。

我不确定您还需要什么信息，但是请随时问我!

Answer 1

也许你可以使用

sink("filename.any_extension")

因此，使用它会在从命令接收到文本文件后立即将结果输出到文本文件中，并进一步处理您可以使用的结果

readLines("filename.any_extension",n=-1,warn=TRUE).

我希望这有帮助。