hadoop - 咕噜模式下的 pig

Question

我在windows下安装了cygwin、hadoop和pig。配置似乎没问题，因为我可以在批处理和嵌入式模式下运行 pig 脚本。

当我尝试在 grunt 模式下运行 pig 时，发生了一些奇怪的事情。让我解释。我尝试运行一个简单的命令，例如

grunt> A = load 'passwd' using PigStorage(':'); 

当我按下 Enter 时，没有任何反应。光标移动到下一行，grunt> 提示不再出现。就像我在文本编辑器中输入一样。

你有遇到过类似的事情吗？您知道我该如何解决这个问题吗？

Answer 1

该行为与您观察到的一致。我将乘坐 pig tutorial例如。

以下命令不会导致 pig 的任何事件。

raw = LOAD 'excite.log' USING PigStorage('\t') AS (user, time, query);

但是，如果您调用一个命令，该命令导致使用来自变量 raw 的数据并使用一些 map-reduce，那么您将在 grunt shell 中看到一些操作。那里提到的第二个命令的一些内容。

clean1 = FILTER raw BY org.apache.pig.tutorial.NonURLDetector(query);

同样，您的命令不会导致任何操作，您必须使用来自变量 A 的数据，这会导致 map-reduce 命令在 grunt shell 上看到一些操作:

grunt> A = load 'passwd' using PigStorage(':');