python-2.7 - 将 oozie.common.file 导入为文件 ImportError : No module named oozie

Question

从其他模块导入文件时出现此错误？谁能告诉我可能是什么原因。它在控制台中运行良好，但是当我将它作为 oozie 作业运行时，命令失败。

文件夹结构:

oozie/common/file.py
oozie/common/__init__.py
oozie/__init__py

我尝试导入的位置:

oozie/mylocation/pjt.py
oozie/common/__init__.py

命令:

import oozie.common.file as file

Answer 1

您的 python 代码将从存储它的 HDFS 移动到执行的数据节点的本地文件系统中。
确保将所有需要的文件设置到 oozie 作业中，否则其中一些文件将不会下载到选定的数据节点中。

请记住:

1)每个datanode上必须安装所有python系统库

2) 如果你设置了 PYTHON LIBPATH，本地库就可以工作。

因此，您在 python 脚本中的第一行应该是设置库路径的内容。

在我看来，将所有类保存在同一个文件中，python(如果可以的话)是在 oozie 上启动它们时最轻松的解决方案。

如果您可以开始使用Java。