shell - Oozie Shell操作输出数据超出其限制[2048]

Question

我有如下的shell脚本

ssh  -q -v -i id_rsa -o "StrictHostKeyChecking no" user@remotemachine script > file

hdfs dfs -put -f file hdfspath

当我在oozie shell操作中使用“”运行此脚本时，文件从远程计算机复制到我的计算机。实际上，它的文件超过2kb。
但是，当我使用(hdfs dfs -put)命令将其移至hdfs时，其抛出错误以下

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exception invoking main(), Output data exceeds its limit [2048] org.apache.oozie.action.hadoop.LauncherException: Output data exceeds its limit [2048]

Answer 1

将以下内容添加到shell操作中，或将其放入/etc/oozie/conf/oozie-site.xml中，然后重新启动oozie服务器。这将增加控制台输出数据，这些数据可以作为shell Action 标签<capture-output/>的一部分捕获。默认值为2048，这是输出数据的最大大小(以字符为单位)。

 <configuration>             
  <property>
    <name>oozie.action.max.output.data</name>
    <value>8192</value>
  </property>        
</configuration>

如果您不将shell操作的控制台输出用于下一个操作中的任何决定，则不需要 <capture-output/>。如果不需要，请尝试删除标记 <capture-output/>。