python - 多台主机上的并行 rsync

Question

我需要从 15 个不同的主机获取一组文件。这些本质上只是文本文件。

我已经能够设置 ssh key 和其他东西，这样 scp、ssh、rsync 等现在就不需要密码了。

现在我正在寻找获取这些文件的正确方法，即以我可以跟踪的方式快速获取它们(即不是我希望在某个时间完成然后开始处理这些文件的后台进程)

到目前为止，我是语言不可知论者。来自 shell、perl、python、ruby 等的任何东西都可以。

虽然我应该问这里的专家。

Answer 1

使用fabric !特别是，您可能会发现 Parallel execution页面很有趣。

例子:

from fabric.api import env, run

env.user = 'implicit_user'
env.hosts = ['host1', 'explicit_user@host2', 'host3']

def print_user():
    with hide('running'):
        run('echo "%(user)s"' % env)

输出:

$ fab print_user

[host1] out: implicit_user
[explicit_user@host2] out: explicit_user
[host3] out: implicit_user

Done.
Disconnecting from host1... done.
Disconnecting from host2... done.
Disconnecting from host3... done.