python - 在 Amazon EMR 上为 Pig UDF 加载外部 python 模块

Question

我创建了一个 python UDF 来将日期时间转换为不同的时区。该脚本使用 pytz，它不随 python(或 jython)一起提供。我尝试了几件事:

1. 引导 PIG 安装它自己的 jython 并将 pytz 包含在jython 安装。我无法让 PIG 使用新安装的jython，它不断恢复到亚马逊的 jython。
2. 将 PYTHONPATH 设置为已安装新模块的本地目录
3. 将 HADOOP_CLASSPATH/PIG_CLASSPATH 设置为新安装的 jython

当我尝试加载 UDF 脚本时，每一个都以“ImportError: No module named pytz”结束。如果我删除 pytz，脚本加载正常，所以它肯定是给它带来问题的外部模块。

编辑:最初将其作为评论，但我想我只是将其编辑:

我已经尝试了所有我知道的方法来让 PIG 识别另一个 jython jar。那没有用。 Amazon 的 jython 在这里:/home/hadoop/.versions/pig-0.9.2/lib/pig/jython.jar，识别这个 sys.path:/home/hadoop/lib/Lib。我不知道如何针对这个 jar 构建外部库。

Answer 1

你能在你的 jython 脚本中手动修改 sys.path 吗？