mysql - IOPS 还是吞吐量？ - 确定 Amazon RDS 实例中的写入瓶颈

Question

我们有夜间加载作业，将数十万条记录写入在 Amazon RDS 中运行的 Mysql 报告数据库。

加载作业需要几个小时才能完成，但我很难弄清楚瓶颈在哪里。

实例当前正在使用通用 (SSD) 存储运行。通过查看 cloudwatch 指标，上周我的平均 IOPS 似乎不到 50。但是，网络接收吞吐量低于 0.2 MB/秒。

无论如何，如果我受到网络延迟(我们目前正在从远程服务器加载数据......这最终会改变)或写入 IOPS 的瓶颈，是否可以从这些数据中看出？

如果 IOPS 是瓶颈，我可以轻松升级到预置 IOPS。但如果网络延迟是问题，我将需要重新设计我们的加载作业以从 EC2 实例而不是我们的远程服务器加载原始数据，这需要一些时间来实现。

感谢任何建议。

更新:有关我的实例的更多信息。我正在使用 m3.xlarge 实例。它的大小为 500GB。加载作业是使用 pentaho 的 ETL 工具完成的。它们从多个(远程)源数据库中提取并使用多个线程插入到 RDS 实例中。

Answer 1

您没有使用太多 CPU。你的内存力非常很差。具有更多内存的实例应该是一个很好的胜利。

您只执行 50-150 次 iops。这太低了，你应该在标准 SSD 级存储上瞬间获得 3000。但是，如果您的数据库很小，它可能会伤害您(因为您每 GB 获得 3 个 iops - 所以如果您使用的是 50gb 或更小的数据库，请考虑为预配置的 iops 付费)。

您也可以试试 Aurora；它使用 mysql，并且据说具有出色的性能。

如果您可以分散写入，峰值会更小。