google-cloud-storage - 将只读磁盘附加到谷歌计算引擎的性能基准

Question

有没有人对将单个只读磁盘附加到多个 Google Compute Engine 实例(即只读模式下的相同磁盘)的性能进行了基准测试？

Google 文档 ( https://cloud.google.com/compute/docs/disks/persistent-disks#use_multi_instances ) 表明可以将多个实例附加到同一个磁盘，个人经验表明它可以在小规模(5 到 10 个实例)下工作，但很快我们将运行跨 500 多台机器(GCE 实例)的作业。我们想知道性能如何随着并行附件数量的增长以及这些附件的带宽的增长而扩展。我们目前从谷歌云存储桶中提取大块数据(只读)，并且想知道切换到标准永久磁盘配置的优点。这涉及数 TB 的数据，所以我们不想改变路线，不管愿意不愿意。

一个重要的考虑因素:500 多台机器中的每台机器上的代码很可能会同时尝试访问同一个文件 (400MB)。在那种情况下，存储桶和连接的驱动器如何比较？也许答案是显而易见的——这样就不必自己建立一个严格的基准测试系统(跨越 500 台机器)。谢谢。

Answer 1

GCE 上的永久性磁盘应该具有一致的性能。目前，对于标准永久性磁盘，每 100GB 卷大小为 12MB/s 和 30IOPS:

https://cloud.google.com/compute/docs/disks/persistent-disks#pdperformance

在多个实例上使用它不应改变磁盘的整体性能。但是，这将使使用这些限制变得更加容易，因为您无需担心使用实例的最大读取速度。但是，一次多次访问相同的数据可能会。我确实知道永久性磁盘或 GCS 如何处理争用。

如果只有一个 400MB 的文件有争议，那么单独对最快的方法进行基准测试可能是有意义的。一种可能的解决方案是复制您的关键文件并随机选择您访问的文件。这应该会导致更少的节点争用每个文件。

复制关键文件意味着更大的磁盘，因此也有助于提高 IO 性能。如果您已经打算增加卷大小以获得更好的性能，则副本是免费的。