filesystems - 如何快速填满一个多 PB 的 NAS？

Question

我公司的产品每年将在我们的客户站点产生数 PB 的数据。我想填满一个多 PB 的 NAS 来模拟一个已经运行了很长时间(3 个月、6 个月、一年等)的系统。我们希望在我们的软件在负载下的存储系统上运行时对其进行分析。

我可以编写一个脚本来创建这些数据(一个脚本可能需要数周或数月才能执行)。是否有关于如何处理脚本(多台机器、多线程)的建议？ NAS 有 3 个负载平衡的传入链接...我应该直接在 NAS 设备上运行吗？

是否有第三方产品可用于创建负载？我什至不知道如何开始搜索这样的产品。

数据是否真实重要吗？有人了解NAS/存储架构吗？它可以只是随机位还是数据的规律性很重要？我们以这种格式将数据分散到磁盘上

x:\<year>\<day-of-year>\<hour>\<minute>\<guid-file-name>.ext

Answer 1

您将受到 NAS/磁盘写入速度的限制 - 我想不出解决办法。

因此，挑战只是根据需要对磁盘进行写饱和。在合理的机器上运行的脚本或脚本集应该能够毫无困难地做到这一点。

首先，使用诸如 Bonnie++ 之类的工具来了解磁盘的写入速度。然后，您可以使用 Bonnie 的代码作为起点来使写入饱和 - 毕竟，要对磁盘进行基准测试，Bonnie 必须能够比 NAS 写入速度更快。

假设您有 3x1GB 的以太网连接，则该设备的最大网络输入速度约为 300 MB/s。一台 PC 能够使 1GB 以太网连接饱和，因此 3 台 PC 应该可以工作。让每台 PC 编写树的一部分，瞧。

当然，以 300 MB/s 的速度填充 PB 大约需要一个月的时间。

或者，您可以对有关 NAS 状态的代码撒谎。在 Linux 上，您可以编写一个用户空间文件系统，通过为 PB 级文件创建动态元数据(文件名、长度等)来假装拥有几 PB 级数据。当产品读取时，则生成随机数据。当您进行产品写入时，将其写入真实磁盘并记住，如果再次读取，您将获得“真实”数据。

由于您的产品在此测试期间可能不会读取整个 PB，也不会写入太多内容，因此您可以轻松地立即模拟任意完整的 NAS。

这需要多于或少于一个月的时间来开发是一个悬而未决的问题:)