gpt4 book ai didi

r - 比较 fread 与 read.table 读取 100M 行中前 1M 行的速度

转载 作者:行者123 更新时间:2023-12-04 14:11:12 26 4
gpt4 key购买 nike

我有一个 14GB 的 data.txt 文件。我在比较fread的速度和 read.table通过读取前 1M 行。它看起来像 fread虽然它不应该是慢得多。需要一些时间才能显示百分比计数。

可能是什么原因?我认为它应该是超快的...我使用的是 Windows 操作系统计算机。

最佳答案

fread mmap s 文件。这需要一些时间,并将映射整个文件。这意味着后续的“读入”会更快。
read.tablemmap整个文件。它可以逐行读取文件[并在第 1000000 行停止]。

您可以在 mmap 上看到一些背景信息在 mmap() vs. reading blocks

帮助中的示例来自 fread突出这种行为

关于r - 比较 fread 与 read.table 读取 100M 行中前 1M 行的速度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32263566/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com