hadoop - Pig passwd指的是什么？

Question

我正在观看 Doug Eadline Hadoop 和 Spark 基础知识。我是 Hadoop 和 Pig 的新手，所以我很难理解这一行

grunt> A = load 'passwd' using PigStorage(':'):

变量'passwd'指的是什么？我的 HDP Hortonworks 密码或其他密码？如果我去

grunt> DUMP A;

终端输出

2019-07-13 19:51:07,300 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2118: Input path does not exist: hdfs://sandbox-hdp.hortonworks.com:8020/user/root/passwd
Details at logfile: /root/pig_1563047441325.log

Answer 1

如果它正在尝试加载 hdfs://sandbox-hdp.hortonworks.com:8020/user/root/passwd，则计算为

fs.defaultFS(来自 core-site.xml 的属性)+ /user/ + $(whoami)(在您的例子中，您以 root 用户身份启动 Pig)，然后是任何文件名。

您可以使用 A = load '/user/root/passwd' 或 load 'hdfs:///user/root/passwd'

也许他们首先将 /etc/passwd 复制到 HDFS 中？或者从/etc目录启动Pig，使用pig -x local启动Pig，在本地启动Pig，不需要Hadoop集群。