python - 运行示例时在 GridMap 中看到 "ImportError: No module names map_reduce"

Question

我在谷歌云平台上创建了一个SGE集群。我在 python 2.7.5 上安装了 GridMap 并尝试运行他们的示例 python 作业，可以在此处找到 https://github.com/pygridtools/gridmap/tree/master/examples

两个示例都只创建 4 个作业来计算各种阶乘并返回结果。当我尝试运行“map_reduce.py”时，我在工作计算机上看到错误，指出“ImportError:没有模块名称map_reduce”

我已将错误隔离到 zload 调用，该调用使用 bz2 解压缩，然后尝试使用 pickle 加载数据

def zloads(pickled_data):
    """
    loads pickleable object from bz2 compressed string
    :param pickled_data: BZ2 compressed byte sequence
    :type pickled_data: bytes
    :returns: An unpickled version of the compressed byte sequence.
    """
    return pickle.loads(bz2.decompress(pickled_data))

“pickled_data”对象来自 zmq 套接字调用对“recv”的调用

# Get reply
msg = zloads(zsocket.recv())

所有网格图代码都可以在这里找到

https://github.com/pygridtools/gridmap/tree/master/gridmap

感谢任何人可以提供的任何帮助或建议。谢谢

Answer 1

我想我已经找到答案了。当它尝试加载 pickle 文件时，我最终单步执行了 pickle 代码。我注意到它试图导入 python 模块并尝试运行，在本例中为“map_reduce”，以访问文件中定义的函数(“compute_factorial”)，但它正在从原始计算机查找目录路径。因此，我尝试从所有工作人员都可以访问的共享目录运行该作业，瞧，成功了。

这是我对网格 map 如何工作的一个根本性误解。我认为它实际上打包了 python 代码并在工作机器上运行它。事实上，它似乎打包了一个指向该代码的指针，并期望能够从同一目录路径的工作计算机访问它。