hadoop - AWS EMR CLI - 将参数传递给 HIVE

Question

我正在使用 aws 的 emr ruby​​ cli 来生成 Hadoop 集群，我正在尝试包含要在其他地方托管的 HIVE 脚本中使用的参数，如下所示:

./elastic-mapreduce --create ... --args -d,DT=2013-01-26

'DT' 在我的 HadoopJarStep.Args 数组中显示令人满意，所以我尝试将它包含在 HIVE 脚本中，如下所示:

...

tblproperties(
  'dynamodb.table.name' = ${DT},
  ...

但我很快就明白了:

Parse Error: line 8:28 mismatched input '$' expecting StringLiteral near '=' in specifying key/value property

我应该如何在我的 HIVE 脚本中正确地包含该参数？

Answer 1

我不太确定为什么您当前的方法不起作用，但我已经成功地做到了:

./elastic-mapreduce --create ... --args "-hiveconf,DT=2013-01-26"

在配置单元脚本中:

tblproperties(
    "dynamodb.table.name" = "${hiveconf:DT}",
    ...
)

希望这对您有所帮助。