hadoop - PIG 自动连接默认HDFS，怎么样？

Question

我刚刚开始学习 Hadoop 和 PIG(从最近两天开始!)，用于我 future 的项目之一。

为了实验，我安装了 Hadoop(默认 localhost:9000 上的 HDFS)作为伪分布式模式和 PIG(map-reduce 模式)。

当我通过输入 ./bin/pig 命令初始化 PIG 时，它启动了 GRUNT 命令行，我收到了 pig 连接到 HDFS (localhost:9000) 的消息，后来我可以通过 pig 成功访问 HDFS。

我希望为 PIG 执行一些手动配置以访问 HDFS(根据各种互联网文章)。

我的问题是，PIG 从哪里确定了默认的 HDFS 配置 (localhost:9000)？我检查了 pig.properties 但我在那里没有找到任何东西。我需要此信息，因为我将来可能会更改默认的 HDFS 配置。

顺便说一句，我在我的 OS PATH 变量中定义了 HADOOP_HOME 和 PIG_HOME。

Answer 1

安装 Pig(我假设是 v0.10.0)时，您必须说明它将如何连接到 HDFS。我不知道您是如何做到这一点的，但通常这是通过将 hadoop conf 目录路径添加到 PIG_CLASSPATH 环境变量来完成的。您也可以设置 HADOOP_CONF_DIR。

如果您启动 grunt shell Pig 将找到 Hadoop 配置 XML 的目录，并采用 fs.default.name (core-site.xml) 和 mapred 的值.job.tracker (mapred-site.xml) ，即:Namenode 和 JobTracker 的位置。

作为引用，您可以查看 Pig shell 脚本以了解 env.收集和评估变量。