emr - 如何在 Amazon Data Pipeline 中停止 hive/pig 安装？

Question

我不需要 Hive 或 Pig，Amazon Data Pipeline 默认将它们安装在它启动的任何 EMR 集群上。这使得测试花费的时间比它应该的要长。关于如何禁用安装的任何想法？

Answer 1

这在今天是不可能的。

唯一的解决方法是启动一个用于测试的小型 EMR 集群(例如使用单个主节点 - m1.small)。然后将它与“workergroup”而不是“runsOn”一起使用。

根据您要使用的事件类型，可能支持也可能不支持 workergroup 字段。但是您始终可以将所有内容包装在脚本(python、shell 或 blah)中，并将其与 ShellCommandActivity 一起使用。

更新(ChristopherB 正确提醒):

从 3.x AMI 版本开始，Hive 和 Pig 捆绑在 AMI 本身中。因此，这些步骤不会从 S3 中提取任何新包，而只会激活主节点上的守护进程。因此，除非您担心它们会消耗您的实例资源(CPU、内存等)，否则应该没问题。他们不会花费明显的时间来运行。