gpt4 book ai didi

python - Pig Python UDF 和 lxml

转载 作者:可可西里 更新时间:2023-11-01 16:14:54 25 4
gpt4 key购买 nike

我有一个使用 lxml 的 Python UDF。我使用 UDF 的 Pig 作业失败了:

File "PigParse.py", line 10, in ParseToPig ImportError: No module named lxml

Python 脚本作为独立程序运行良好,它的第 10 行是:

from lxml import etree 

我是否需要以某种方式将 lxml 分发到 hadoop 集群,如果需要,我应该如何使用以及应该使用哪个版本?

我见过使用分发 nltk 的示例 Hadoop-文件但对 Pig 来说什么都没有。

TIA!!!

最佳答案

我认为我的问题是因为我使用的是 Jython:

`REGISTER 'PigParse.py' using jython as PP;

you can't use lxml with Jython

关于python - Pig Python UDF 和 lxml,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23549695/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com