- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我有一个简单的 DataPipeline 作业,它只有一个 EmrActivity 和一个尝试从我的 s3 存储桶执行配置单元脚本的步骤。
EmrActivity 的配置如下所示:
{
"name" : "Extract and Transform",
"id" : "HiveActivity",
"type" : "EmrActivity",
"runsOn" : { "ref" : "EmrCluster" },
"step" : ["command-runner.jar,/usr/share/aws/emr/scripts/hive-script --run-hive-script --args -f s3://[bucket-name-removed]/s1-tracer-hql.q -d INPUT=s3://[bucket-name-removed] -d OUTPUT=s3://[bucket-name-removed]"],
"runsOn" : { "ref": "EmrCluster" }
}
以及它运行的相应 EmrCluster 资源的配置:
{
"id" : "EmrCluster",
"type" : "EmrCluster",
"name" : "Hive Cluster",
"keyPair" : "[removed]",
"masterInstanceType" : "m3.xlarge",
"coreInstanceType" : "m3.xlarge",
"coreInstanceCount" : "2",
"coreInstanceBidPrice": "0.10",
"releaseLabel": "emr-4.1.0",
"applications": ["hive"],
"enableDebugging" : "true",
"terminateAfter": "45 Minutes"
}
我收到的错误消息总是如下:
java.io.IOException: Cannot run program "/usr/share/aws/emr/scripts/hive-script --run-hive-script --args -f s3://[bucket-name-removed]/s1-tracer-hql.q -d INPUT=s3://[bucket-name-removed] -d OUTPUT=s3://[bucket-name-removed]" (in directory "."): error=2, No such file or directory
at com.amazonaws.emr.command.runner.ProcessRunner.exec(ProcessRunner.java:139)
at com.amazonaws.emr.command.runner.CommandRunner.main(CommandRunner.java:13)
...
主要错误消息是“...(在目录“.”):错误=2,没有那个文件或目录”。
我已经登录到主节点并验证了 /usr/share/aws/emr/scripts/hive-script
的存在。我还尝试为 hive-script
以及其他一些地方指定基于 s3 的位置;总是相同的错误结果。
我可以直接在 EMR 中手动创建一个集群,它看起来与我在此 DataPipeline 中指定的完全一样,其中一个步骤使用相同的 "command-runner.jar,/usr/share/aws/emr/scripts/hive-script ..."
命令字符串,它可以正常工作。
有没有人遇到过这种情况,可以就我遗漏和/或做错了什么向我提出建议?我在这方面已经有一段时间了。
最佳答案
经过长时间的研究和试错,我能够自己回答问题。
我的 Step 脚本有 3 处,也许 4 处错误:
然后是“可能是第 4 个”:
所以,最后,我的工作 EmrActivity 看起来像这样结束了:
{
"name" : "Extract and Transform",
"id" : "HiveActivity",
"type" : "EmrActivity",
"runsOn" : { "ref" : "EmrCluster" },
"step" : ["s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://us-east-1.elasticmapreduce/libs/hive/hive-script,--base-path,s3://us-east-1.elasticmapreduce/libs/hive/,--hive-versions,latest,--run-hive-script,--args,-f,s3://[bucket-name-removed]/s1-tracer-hql.q,-d,INPUT=s3://[bucket-name-removed],-d,OUTPUT=s3://[bucket-name-removed],-d,LIBS=s3://[bucket-name-removed]"],
"runsOn" : { "ref": "EmrCluster" }
}
希望这有助于将其他人从我投资的同一时间槽中拯救出来。编码愉快!
关于hadoop - AWS Datapipeline,运行配置单元脚本的 EmrActivity 步骤立即失败并显示 'No such file or directory',我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33704161/
根据 Data Pipeline 文档,EMRActivity Step 命令使用与常规 EMR 作业不同的格式。 这是一个简化的例子: /home/hadoop/contrib/streaming/
我有一个简单的 DataPipeline 作业,它只有一个 EmrActivity 和一个尝试从我的 s3 存储桶执行配置单元脚本的步骤。 EmrActivity 的配置如下所示: { "name
我是一名优秀的程序员,十分优秀!