java - Apache Pig在AWS EMR Hadoop集群中无输出

Question

我是AWS Hadoop集群的新手。

我通过带有Pig 0.14.0的EMR部署了Hadoop集群。

我调用了一个UDF，它具有一些到标准输出(System.out.println())的输出。

但是，在管道成功完成之后，我的UDF没有任何输出。

我也尝试过stderr和file stream。

但是仍然没有输出。

有没有人遇到过同样的问题？

怎么处理呢？

Answer 1

您的UDF在群集的各个节点上运行，并且UDF System.out调用将出现在该节点的stdout日志中。它们不会被打印到您的Pig日志中。

您可以从资源管理器访问这些日志，可以通过AWS EMR控制台最轻松地找到它们。您可以在此处找到有关如何启用访问权限的说明。