amazon-web-services - 如何将 AWS DynamoDB 表导出到 S3 存储桶？

Question

我有一个 DynamoDB 表，它有 150 万条记录/2GB。如何将其导出到 S3？
执行此操作的 AWS 数据管道方法使用一个小表。但是我在将 150 万条记录表导出到我的 S3 时遇到了问题。
在我最初的试验中，管道工作花了 1 小时，但失败了

java.lang.OutOfMemoryError: GC overhead limit exceeded

我通过遵循 this link 向 EMR 集群内的实例提供 hadoop-env 配置对象来增加 namenode 堆大小。
增加堆大小后，我的下一次作业运行尝试在 1 小时后失败，并出现另一个错误，如所附屏幕截图所示。我不知道该怎么做才能完全解决这个问题。


同时检查 EMR 集群中实例的 AWS Cloudwatch 图。核心节点一直处于 100% 的 CPU 使用率。
EMR 集群实例类型(主节点和核心节点)是 m3.2xlarge。

Answer 1

问题在于 maptask 无法有效运行。核心节点的 CPU 使用率达到 100%。我将集群实例类型升级为可用的计算 C 系列之一，并且导出没有问题。