amazon-web-services - AWS DMS 复制实例内存不足

Question

我最近开始使用 AWS 数据迁移服务 (DMS) 并遇到了一些问题。

目前正在尝试将 10GB 的 Oracle 数据库迁移到 AWS RDS Postgres。工作，但有疯狂的(？)内存要求。感觉就像是将整个数据库加载到内存中...开始于 dms.r4.large (15.5GB) 但 can not allocate memory大约之后98%.... 会顺利运行 dms.r4.xlarge (30.5GB)



正如您在屏幕截图中看到的(可用内存，最小值)，当任务完成(或崩溃)时，在所有内存被释放之前，实例一直在“满”运行。

是否有任何设置可以改变这一点，为什么它会这样？它使整个任务变得不必要昂贵......

Answer 1

正如 AWS 所确认的，这确实是最新引擎 (v3.1.3) 的一个错误。 AWS 提供了以下额外见解来估计实际内存需求:

Full LOB mode (using single row insert+update, commit rate)

Memory: (# of lob columns in a table) x (Number of table in parallel, default is 8) x (lob chunk size) x (Commit rate during full load) = 2 * 8 *64(k) * 10000k

Note: You may consider to reduce the "Commit rate during full load " value because we allocate memory using roughly the above method

Limited LOB mode (using array)

Memory: (# of lob columns in a table) x (Number of table in parallel, default is 8) x maxlobSize x bulkArraySize = 2 * 8 * 4096(k) * 1000