python - 将Pig嵌入Python

Question

我试图在Python中嵌入一个Pig脚本，遇到一个异常，似乎找不到问题所在。我有一个嵌入了Pig脚本的Python脚本，并安装了Apache PIG 0.10。我可以从 shell 程序运行 pig 脚本，并且可以正常工作。当我使用命令从 shell 嵌入 pig 运行python脚本时
pig -x mapreduce pythonscript.py它给我错误

Error before Pig is launched ---------------------------- ERROR 2998: Unhandled internal error. org/python/util/PythonInterpreter

java.lang.NoClassDefFoundError: org/python/util/PythonInterpreter at org.apache.pig.scripting.jython.JythonScriptEngine.main(JythonScriptEngine.java:338)

在运行Pig命令之前，我曾尝试将Jython jar添加到shell的 $PIG_CLASSPATH环境变量中。它没有帮助。

我看到其他人也遇到了这个问题，但是，有没有人找到解决方案？有指针吗？

Answer 1

好。找到了解决方案。如果您也看到此错误，那么希望对您有所帮助。

1)下载了Jython安装程序jar。
2)用java -jar运行它
3)指定安装位置
4)在我的PATH环境变量中添加了Jython可执行Shell脚本。
5)将jython jar从安装文件夹复制到HADOOP_HOME / lib文件夹。即。 hadoop下的lib文件夹。

通常，第5步是交易制定者。但是这些是我遵循的步骤。似乎将Jython jar复制/设置为PIG似乎没有帮助。我在伪集群模式下运行Hadoop，并在其上面放置了Pig。 pig 似乎采取基于HADOOP的 jar ，而不是自己的lib!

在此之后，它像魅力一样运转。