amazon-web-services - 如何使用 HadoopJarStep Config.Step 属性？

Question

AWS 文档指出此属性是“作业流程步骤运行时设置的 Java 属性列表。您可以使用这些属性将键值对传递给 JAR 文件中的主函数。”

但是没有解释(至少我没有找到)它们是如何传递的，以及如何在主函数端正确访问所述键值对集合。

快速检查证明它们不是通过环境或命令行参数传递的。可以用其他方式吗？

Answer 1

好吧，似乎这个映射转到了 Java 系统属性，并且可以通过 System.getProperties() 调用从主函数端访问，但是有一些不明显的含义。

首先要记住的是，它们在内部通过环境变量 HADOOP_CLIENT_OPTS 设置为 -Dkey=value 开关。但是 EMR 不会根据 shell 规则自行正确转义键或值。

此外，如果存在具有不可打印字符的属性，它不会报告任何语法错误，只是完全忽略设置它们。对于像 * 这样的特殊 shell 字符，它的表现更糟？ ( )\等等 — 如果没有适当的解释，它会导致任务执行失败，并且日志记录只会模糊地指向 EMR 内部 shell 脚本包装器内部深处的一些 eval() 调用中的模糊语法错误。

请注意这种行为。

属性必须进行 shell 转义，在某些情况下甚至需要双重 shell 转义。