amazon-web-services - AWS EBS block 大小

Question

您能为我提供一些有关EBS如何在gp2卷的幕后工作的资源吗？
以我的理解，它是一种服务，但实际上，它是以某种冗余方式将SSD驱动器阵列连接到实例的某种形式
实际的物理连接方法是什么？
该文档指的是数据以16KB或256KB的块传输的事实，但是我找不到更多信息。
例如，如果在Linux中，我的分区使用4KB块格式化，这是否意味着EBS将以16KB块与磁盘进行数据传输，如果这样，也用16KB块格式化分区并进行优化就没有意义了。它在上游吗？
如果我有一组非常随机的4k操作，这会触发相同数量的16KB块请求吗？
如果有人已经做过这样的测试，我真的很想听听...

Answer 1

实际的物理连接方式是通过AWS软件定义的以太网LAN进行的。 EBS本质上是一个SAN。这些卷并未物理连接到该实例，但是它们实际上位于同一可用区内，因此访问是通过网络进行的。

如果实例是“优化的EBS”，则将为实例和EBS之间的通信单独分配以太网带宽。否则，EBS还将使用处理该实例的所有IP流量的同一以太网连接。

EBS gp2卷后面的SSD是4KiB页面对齐的。

为此，请参见AWS re:Invent 2015 | (STG403) Amazon EBS: Designing for Performance，开始时间为24:15。

如AWS re:Invent 2016: Deep Dive on Amazon Elastic Block Store (STG301)中所述，EBS卷不是物理卷。他们没有将您的SSD驱动器交给您。 EBS卷是一个逻辑卷，它跨越整个可用性区域中的许多分布式设备。 (设备上的块也已在可用性区域内的EBS中复制到第二个设备。)

这些因素应该使人清楚，实际的SSD的性能并不是EBS性能的特别重要的因素。从所有方面来看，EBS都会根据您为卷支付的费用分配资源...当然，这直接与卷的大小以及您选择的功能集(卷类型)成正比。

16KiB是EBS用于建立gp2性能基准的I/O的标称大小。它可能没有其他特殊意义，因为它似乎与EBS分配给您的卷的处理资源或媒体设备本身有更多或更多的关系-EBS卷生活在具有自己“资源”的存储集群中(CPU，内存，网络带宽等)和16KiB似乎是与EBS基础结构中某种资源分配有关的标称值。

请注意，sc1和st1卷使用的名义I/O大小非常不同:1 MiB。显然，这与物理存储设备没有任何关系，因此这可以得出结论，即gp2(和io1)的16KiB数。

一个gp2卷可以执行以下几个限制中的最低限制:

160 MiB/秒，取决于连接的实例类型‡

该卷当前可用的瞬时IOPS数，该最大值是

100 IOPS，与卷大小无关

每个预置的GiB的卷大小为3 IOPS

token 桶中可用于的IOPS积分上限为3,000 IOPS

每卷10,000 IOPS，无论

有多大

‡无论如何，较小的实例类型无法提供160MiB/秒的网络带宽。例如，r3.xlarge仅具有半千兆位(500 Mbps)的网络带宽，将您到EBS的总流量限制为大约62.5 MiB/sec，因此您无法将更多的吞吐量推向EBS卷这个来自那个类型的实例。 除非您使用的是非常大的实例或非常小的实例，否则对EBS性能的最可能限制将是实例的限制，而不是EBS的限制。

您被限制在上面列表中的第一个(最低)阈值上，这是名义上的16 KiB I/O大小的影响:如果您的I/O小于16KiB，则最大可能的IOPS不会增加，并且如果它们较大，则最大可能的IOPS可能会降低:

I/O大小为4KiB不会提高性能，因为用于速率限制的I/O的标称大小已确定为16KiB，但是

大小为4KiB的I/O不太可能通过顺序I/O显着降低性能，因为出于EBS的会计目的，在内部进行了合并。因此，如果您的实例要发出4×4 KiB顺序I/O请求，则EBS可能会将其计为1个I/O

一个4KiB的I/O大小和一个非常随机的I/O的确不会结合在一起，因此，相对于相同数量的16KiB的非常随机的I/O，理论上它的性能会很差，但是凭直觉和经验告诉我，这在学术和理论上都存在边界领土，但在极少数情况下除外。它可能像帮助一样受到伤害，因为小写操作将使用相同数量的IOPS，但会通过网络传输更多不必要的数据。

如果您的I/O大于16KiB，则在磁盘带宽达到IOPS阈值之前达到160MiB/s阈值时，最大IOPS将会降低。

最后，EBS在负载下表现最佳。也就是说，执行一系列随机I/O的单个线程不会使EBS卷的队列中充满请求。如果不是这种情况，您将看不到最大的性能。

有关EBS性能的更多讨论，请参见 Amazon EBS Volume Performance on Linux Instances。