gpt4 book ai didi

hadoop - EmrActivity 的多个输入

转载 作者:可可西里 更新时间:2023-11-01 14:41:30 24 4
gpt4 key购买 nike

根据 Data Pipeline 文档,EMRActivity Step 命令使用与常规 EMR 作业不同的格式。

这是一个简化的例子:

/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3://mybucket/folder1/*.gz,-output,s3://output,-mapper=mapper,-reduce=reducer.

假设我需要从多个存储桶中提取数据,我如何才能将这些多个输入传递给单步命令?

在常规 EMR 作业设置中,我只是用逗号分隔输入路径,但这似乎不适用于 EmrActivity。

我对 EmrActivity 的解决方案非常感兴趣,而不是设置复制事件以将我的数据带到一个临时的唯一位置。

谢谢。

最佳答案

验证 json 需要使用 cli 转义。如果从 CLI 使用 json,请尝试“\”。 (\,) 将从控制台运行。

关于hadoop - EmrActivity 的多个输入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20110379/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com