gpt4 book ai didi

linux - 如何加快在 linux 上读取一组固定的小文件?

转载 作者:太空狗 更新时间:2023-10-29 12:07:19 25 4
gpt4 key购买 nike

我有 100'000 个 1kb 的文件。还有一个读取它们的程序 - 它真的很慢。我提高性能的最佳想法是将它们放在 ramdisk 上。但这是一个脆弱的解决方案,每次重启都需要重新设置 ramdisk。(而且文件复制也很慢)

我的第二个好主意是连接文件并使用它。但这并非微不足道。

有没有更好的解决方案?

注意:我需要避免程序中的依赖,甚至是 Boost。

最佳答案

您可以通过将文件连续存储在磁盘上来进行优化。

在具有充足可用空间的磁盘上,最简单的方法是改为读取 tar 存档。

除此之外,还有/曾经有一个用于“预读”的 debian 软件包。

您可以使用该工具

  1. 剖析软件的正常运行
  2. 编辑已访问文件的 lsit(通过预读检测)

然后您可以使用该文件列表调用预读(它将按磁盘顺序对文件进行排序,以便最大化吞吐量并最小化寻道时间)

不幸的是,我已经有一段时间没有使用这些了,所以我希望你能谷歌到相关的包

这就是我现在似乎发现的:

sudo apt-get install readahead-fedora

祝你好运

关于linux - 如何加快在 linux 上读取一组固定的小文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6397149/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com