hadoop - 获取异常 WARN org.apache.hadoop.streaming.PipeMapRed : java. io.IOException: Broken pipe

Question

出于某些调试目的，我正在现有的工作 R 脚本中添加打印语句。

print("Hello")

我在使用 Hadoop 流式处理执行此代码时收到 Broken pipe 异常。如果我再次删除此打印件，它会起作用，对我来说听起来很奇怪!在编辑 Rscript 时，我正在通过窗口 gitbash 使用 vi。您能否提出解决方案。

Answer 1

如果您的 Hadoop 集群由 Linux 节点组成，并且您提交的脚本是在 windows 或 window gitbash 中编辑的，它将无法运行并抛出误导性异常。只需使用 vi 或 emacs 在 linux 中编辑文件。或者使用 do2unix 命令将文件从 dos 格式转换为 linux 格式。 (这将删除尾随的\r\n 并替换为\n)。