hadoop - 查找Hadoop日志并将其设置为详细级别

Question

我需要跟踪运行作业或将文件上传到HDFS时发生的情况。我在sql server中使用sql profiler进行此操作。但是，我错过了hadoop这样的工具，因此我假设我可以从logs获得一些信息。我的所有日​​志都存储在/ var / logs / hadoop /中，但是我对需要查看的文件以及如何设置该文件以捕获详细的级别信息感到困惑。

我正在使用HDP2.2。

谢谢，
斯里

Answer 1

“Hadoop”代表不同产品的整个生态系统。每个人都有自己的日志记录。

HDFS由NameNode和DataNode服务组成。每个都有自己的日志。日志的位置取决于分发。有关Hortonworks的信息，请参见File Locations；对于Cloudera，请参见Apache Hadoop Log Files: Where to find them in CDH, and what info they contain。

在Hadoop 2.2中，MapReduce('jobs')是YARN中的特定应用程序，因此您要谈论的是ResourceManager和NodeManager服务(YARN组件)，每个服务都有自己的日志，然后是MRApplication(M / R)。组件)，这是一个YARN应用程序，但具有自己的日志。

作业由任务组成，任务本身具有自己的日志。

在Hadoop 2中，有一个专用的作业历史记录服务，其任务是从执行的作业中收集和存储日志。

除了它们提交的作业(所有作业都在记录)之外，更高级别的组件(例如Hive，Pig，Kafka)都有自己的日志。

好消息是，特定于供应商的发行版(Cloudera，Hortonworks等)将提供一些特定的UI，以显示最常见的日志以方便访问。通常，他们从UI暴露JobHistory服务收集的日志，以显示作业状态和作业历史记录。

我无法指出任何等效于SQL Profiler的东西，因为问题空间要复杂得多，而且涉及许多不同的产品，版本和特定于供应商的发行版。我建议首先阅读并学习 Job History server的运行方式以及如何访问它。