r - 来自 Hive UDF/UDAF 的 JRI

Question

我在一些数据节点上安装了 R，可以编写 Map reduce 作业以通过 JRI 调用 R。

接下来，为了通过配置单元查询调用 R，我重写了 GenericUDAFEvaluator 中的终止方法并在那里创建 Rengine 对象。

旧的 mapred 作业需要我执行 -Dmapred.child.env="R_HOME=/usr/lib64/R" 才能工作。

当我在配置单元中执行此操作(通过 set mapred.child.env="R_HOME=/usr/lib64/R"; )然后运行查询时，作业在设置时失败。

更一般地说，这是从 hive 成功的:

 select count(*) from some_table limit 10;

但这失败了:

 set mapred.child.env='abc=pqr';
 select count(*) from some_table limit 10;

我有 hive-hwi-0.9.0-cdh4.1.1.jar 和 hadoop-2.0.0-cdh4.1.1

Answer 1

我从 set 语句中删除了引号并且它起作用了。这样做:

set mapred.child.env=abc=pqr;

select count(*) from some_table limit 10;

这行得通