python - 在 Elastic MapReduce 的分布式缓存中使用文件的问题

Question

我正在尝试在 AWS Elastic MapReduce 作业中使用我的 Python 映射器脚本中的外部库。
但是，我的脚本似乎无法在缓存中找到模块。我将文件归档到一个名为 helper_classes.tar 的压缩包中并将压缩包上传到 Amazon S3 存储桶。在控制台上创建 MapReduce 作业时，我将参数指定为:

cacheArchive s3://folder1/folder2/helper_classes.tar#helper_classes

在我的 Python 映射器脚本的开头，我包含以下代码来导入库:

import sys
sys.path.append('./helper_classes')
import geoip.database

当我运行 MapReduce 作业时，它失败并显示 ImportError: No module named geoip.database. ( geoip 是 helper_classes.tar 顶层的文件夹，数据库是我要导入的模块。)
有什么想法我可能做错了吗？

Answer 1

这个话题可能已经晚了。

原因是模块 geoip.database 未安装在所有 Hadoop 节点上。
您可以尝试不要在 map/reduce 代码中使用不常见的导入，
或尝试在所有 Hadoop 节点上安装所需的模块。