- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我需要一种算法,可以同时在不同的计算机上(使用不同的参数)执行文件“test.py”,并在每台计算机上执行矢量化方法,例如来自 numpy 包,应该能够使用多个内核。
一个最小的(不工作)示例,由以下两个文件组成。
文件A:test.py
import numpy
import os #to verify whether process is allowed to use all cores
os.system("taskset -p 0xff %d" % os.getpid())
a = numpy.random.random((10000,10000)) #some random matrix
b = numpy.dot(a,a) #some parallelized calculation
和文件B:control.py
import subprocess
import os
callstring = "python " + str(os.getcwd()) + "/test.py" # console command to start test.py
sshProcess = subprocess.Popen(str("ssh <pc-name>"),
stdin=subprocess.PIPE,
shell=True)
sshProcess.stdin.write(str(callstring)) # start file.py
sshProcess.stdin.close()
现在,当我运行 control.py 时,正在执行文件 test.py,但是,只有一个内核。
如果我直接从控制台 python test.py
运行 test.py(我不想要),则会使用多个内核。
不幸的是,我是子进程扩展的新手,而且我也不是 Linux 系统方面的专家。但是,到目前为止,我能够获得以下知识:
subprocess.call("python test.py", shell=True)
会起作用,即然后使用多个内核。但是,我需要 ssh 来寻址其他计算机。python test.py
也可以得到预期的结果:使用多个内核。但是,我需要自动执行此步骤,因此,我想使用 python 代码创建多个这样的“ssh-consoles”。os.system("taskset -p 0xff %d"% os.getpid())
产生输出 '当前亲和性 ff,新亲和性 ff' = 8 个可能的核心所以看来是Popen结合ssh的问题!?
您有什么想法或建议吗?感谢您的帮助!
编辑/附录:我发现“multiprocessing”包的并行化方法确实在多个内核上运行。所以这似乎又是一个 NumPy 的问题。很抱歉之前没有对此进行测试!
我正在使用 Python 2.7.12 和 Numpy 1.11.1
最佳答案
我可以解决我的问题:
出于某种原因,我仍然不明白 - 正如我所说,我的 Linux 知识是一场灾难 - 在上述 Popen 环境中调用了一个不同的 python。
在控制台中,which python
给出'../anaconda2/bin/python',但是ssh <the very same computer> which python
给出“/usr/bin/python”。
Anaconda 似乎使用 MKL 库进行并行计算,这对于/usr/bin 中的 python 是未知的。
所以问题的根源是在不知道它的作用的情况下使用 ssh。同样的问题已经出现: Why does an SSH remote command get fewer environment variables then when run manually?
再次感谢您的关注。
关于python - 为什么矢量化的 numpy 方法在 python ssh 子进程中只使用一个核心,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43327119/
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题? Update the question所以它是on-topic对于堆栈溢出。 10年前关闭。 Improve this qu
我错误地设置了 ssh key 的密码。 但是每次使用 key 时都要输入密码很烦人。 我想删除我的 key 的密码: $ ssh-keygen -p -f 但是,我担心 key 会被更改。 由于我
你好!我在连接到远程主机时遇到问题。我忘记了 ssh 密码,但我有 SSH key 的指纹。是否可以仅使用指纹进行连接? 最佳答案 不会。机器的指纹仅用于验证您正在连接您认为正在连接的机器。它是用于避
我有一个 Ubuntu 服务器 example.com 并且我已经通过 ssh 进入了它。但只有在我通过 ssh 进入它之后,我才意识到我打算执行 ssh -L 8000:localhost:9000
通过终端,我可以多次 SSH 连接到服务器: (客户端--->网关--->服务器1---->服务器2---) 但是现在要通过Java的JSch库来实现,怎么办呢?首先尝试了端口转发,但在终端上我没有这
在创建一个新的仓库(本地 + 远程)之后,我正在尝试推送提交。但是我遇到了 SSH key 的问题 在我的 ~/.ssh/config 中,我有一个 gitlab 条目定义为 Host MyRepoJ
我发现 ssh 和 ssh-keygen 有一种奇怪的行为:它们根本没有反应。 Cygwin 以管理员权限启动并正常运行。主机 192.168.1.1 已启动,我可以远程桌面到它: 当我尝试时: $
为什么eval语句返回 Illegal variable name $ eval "$(ssh-agent -s)" Illegal variable name. 最佳答案 请尝试$ eval "ss
我正在尝试通过以下命令从我的本地主机连接到远程主机。但是远程主机中有一个设置,我们登录后不久它会提示输入徽章 ID、密码和登录原因,因为它在 profile 中是这样编码的文件在 remote-hos
有时,我被迫在不稳定的互联网连接上使用 ssh。 ping some.doma.in PING some.doma.in (x.x.x.x): 56 data bytes Request timeou
This thread is a response to the titled question : Why ssh-agent doesn't forward my SSH certificate
关闭。这个问题是off-topic .它目前不接受答案。 想改善这个问题吗? Update the question所以它是 on-topic对于堆栈溢出。 8年前关闭。 Improve this q
因此,我在10.10.10.x子网中有一堆机器,基本上所有这些机器都以相同的方式配置。我将这些与我的10.10.11.x子网中的计算机区分开,后者具有不同的用途。 我希望能够输入“ssh 10.x”以
我不想在 vagrant box 上创建新的 SSH key 对,而是想重新使用主机上的 key 对,使用 agent forwarding 。我尝试过设置 config.ssh.forward_ag
我有一台服务器,可以通过ssh通过pubkey身份验证通过ssh访问: ssh "Host" -l "my identity" 这很好。但是,我无法在一个命令中使用我的私钥进行端口重定向和标识(这是我
创建一对 key 并通过 ssh-copy-id 将公钥发送到服务器后,我仍然无法在没有密码的情况下登录 ssh -v user@host 的输出 debug1:在/home/pumba/.ssh/k
我被困在 Permission denied (publickey) hell 中,试图将公钥复制到远程服务器,以便 Jenkins 可以在构建期间同步文件。 运行: sudo ssh-copy-id
我正在尝试通过我大学的代理服务器ssh到我们实验室的服务器之一。我们的目标是使用paramiko使其自动化,但我试图首先了解终端机级别中正在发生的事情。 我试过了 ssh -o ProxyComman
我在说明问题上有问题,我想通过SSH切换到我的Cisco交换机,但是我遇到了一些麻烦 我写了两个脚本, 有了这个我没有任何问题,我可以通过运行脚本并输入用户名和密码来更改默认网关: from Exsc
每个人 我目前正在使用一个集群,并且会经常使用“ssh”连接到它。有时我需要打开多个终端。因此,每次需要连接时,我都必须输入“ssh username@cluster.com”,然后输入“密码”(我在
我是一名优秀的程序员,十分优秀!