使用容器操作系统的 GCP 中本地 SSD 的 NVMe 与 SCSI 的性能

Question

在 Google Cloud 中，我做了一个简单的性能测试，比较了连接到同一虚拟机的两个“本地 SSD”驱动器 - 第一个连接为 NVMe，第二个连接为 SCSI。我原以为 NVMe 会更快一些，但性能却下降了 5%:

NVMe SCSI
真实 157.3 150.1
用户 107.2 107.1
系统 21.6 22.2

Google 计算 VM 正在运行 COS - Container Optimized OS，而 docker 容器本身是一个运行的 busybox md5sum在同一个 45GB 文件上。结果(平均超过 3 次运行)有点令人费解——系统时间较短，用户时间大致相同，但 NVMe 的实时时间慢了约 5%。容器运行
docker run -v /mnt/disks/nvme:/tmp1 -v /mnt/disks/scsi:/tmp2 -it busybox
测试是用
time md5sum largefile

Answer 1

我相信最近对访客 NVMe 驱动程序进行了改进，这可能会有所帮助。我听说它在最新的 Ubuntu 镜像中默认提供，但可能尚未包含在 COS 发行版中。补丁可用here .

FWIW, md5sum也不是作为存储性能基准测试工具，因此您的结果也可能不是很可重现——它有 CPU 开销(用于计算校验和)，并且还运行在本地文件系统之上(可以是碎片也可以不是)等)，谁知道它使用什么样的 IO 大小来读取数据，所有这些都可能为您的测试增加可变性。如果你想做真正的 IO 基准测试，谷歌的文档有 a pretty good guide解释如何使用 fio直接在本地 SSD 之上。