python - 如何将执行环境传递给 SGE

Question

首先，“环境”这个词有不同的含义，所以让我澄清一下我的意思。

我正在 Linux 上开发 Python 流程，并且有某些库、软件元素和文件等(例如 yaml)是运行此流程和识别自定义命令所必需的。当我说环境时，我指的是这整套依赖关系。

我正在考虑的是一种将所有这些“必要条件”封装到某种东西中的方法(如果可能的话，我不知道这种东西的技术术语)并将这些东西传递给网格引擎，以便GE 上的所有节点不需要安装相同的程序集、库，并且可以使用这些东西来运行作业。

有人遇到过这种情况吗？这可能吗？

或者，我必须通过 ssh 进入每个节点并确保这些库等是单独安装的。

Answer 1

我看到两个主要选项。

1. 虚拟环境:创建 virtual environment那将是安装在您的节点上的 nfs。你的工作应该使用那个虚拟环境。 (请注意，我认为 virtualenv 使用完整路径，因此您需要将它们安装在与主节点上相同的路径中。)
2. 使用像 docker 这样的东西打包(或如您所写，封装)您的可执行文件，以便它们所需的所有库都是自包含的。