c - 如何在标准 PC 上管理大树？

Question

1. 给定一个根节点，它应该开始生成一棵大约有 10¹⁰(大约 2³⁴)个节点的树，使用内存映射文件是否合适哪一次将包含整棵树？
2. 可能会出现哪些与操作系统相关的问题(文件 I/O、大文件支持)？
3. C、gcc 和 glibc 有一些隐含的限制(指针)吗？
4. Linux 对大文件有任何问题/限制吗？

Answer 1

正如 yi_H 在他的评论中提到的，您需要一个 64 位操作系统和一个支持大文件的文件系统。假设每个节点包含大约 2^5=32 字节的数据，则 2^40 个节点将导致 2^45 字节 = 32 TB。现在假设您不是在现代军用战斗机上运行，​​您需要将大部分数据映射到硬盘。

一旦数据在您的磁盘上并且文件系统配置正确，我认为任何系统限制都不会有问题。但是读/写速度肯定是个问题。给定硬盘驱动器上 100 mb/s 的平均 IO 速度，遍历整棵树大约需要 4-5 天。

最好将数据分配到多台计算机上并并行操作。