python - Torque PBS - 运行多个串行 Python 进程

Question

我第一次想做一些并行计算，但我不知道到底应该从哪里开始。

问题是我有一个巨大的文件列表(大约 7000 个 csv 文件)，我想处理它并从数据中获取单个文件。对于此任务，我想使用与 Torque PBS 配合使用的校园集群。

到目前为止，我在 SO 中发现的最接近我想要实现的目标的问题是 this one 。主要区别是我应该使用扭矩(我真的吗？)。

所以，简而言之，我的问题是:如何使用 Torque PBS 实现所引用问题的解决方案？

Answer 1

好吧，我设法通过以下方式做到这一点:

假设有一个名为 process.py 的 Python 串行进程，它一次处理 100 个 csv 文件。

然后我们需要一个文件call_pyprocess.pbs，它使用以下语法调用process.py:

#!/bin/bash
#PBS -l nodes=1:ppn=1
#PBS -o out.varx
#PBS -e error.varx

source activate p2.7    """ if need to specify python environment  """

python /path/to/file/process.py varx   """ varx is the iteration number """

请注意，process.py 文件需要参数解析器才能使用 varx 作为内部变量。

然后使用 bash 中的以下命令发送作业:

for i in {00..70} ; do cp call_pyprocess.pbs temp.pbs ;
 perl -pi -e "s/varx/$i/" temp.pbs; qsub temp.pbs; done