ubuntu - 执行远程Apache Pig脚本时如何查看终端日志

Question

我已经在Apache Pig中编写了一个脚本，该脚本正在Hadoop集群上执行。它加载约5.5万个.gz文件，并且需要35个小时才能完成。然后将结果存储在文件中，但是没有，因此我想调试发生的事情。

我通过键入以下内容执行脚本:

pig script.pig

在Ubuntu虚拟机的终端中，我看到有关作业进度等的信息消息。即使关闭本地计算机，如何查看这些消息？为了查看这些消息，我真的需要保持本地计算机运行35个小时吗？

我知道您可以在Ubuntu中键入命令并通过键入以下内容存储响应:

command > logfile.txt

但是我认为这在这里行不通，因为在关闭本地计算机期间hadoop hdfs系统与虚拟机之间的连接丢失了，因此日志消息必须存储在hadoop群集上。但是如何实现这一目标，或者这是自动完成的，而我根本不知道在哪里看？

Answer 1

如果您是从本地计算机运行的，则该进程被终止(例如，通过关闭计算机)，那么hadoop将终止该作业。这就是为什么您通常希望从集群中的计算机或运行24/7的某些门户网站节点开始长时间运行的作业。

如果您可以使用它，则还可以使用Oozie之类的东西来运行您的作业，然后Oozie服务器将负责运行该作业并提供日志。