- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我想使用多线程的 Paramiko 从远程服务器下载文件。
我想到了两个解决方案,但我不确定哪个是正确的(或更好的)。
解决方案 1:假设 SFTPClient.get
是线程安全的(但我找不到任何提到的文档),一个简单的方法是:
from paramiko import SSHClient, AutoAddPolicy, SFTPClient
from concurrent.futures import ThreadPoolExecutor
from typing import List
client = SSHClient()
ciient.set_missing_host_key_policy(AutoAddPolicy())
client.connect( ... )
sftp = client.open_sftp()
files_to_download: List[str] = ...
with ThreadPoolExecutor(10) as pool:
pool.map(lambda fn: sftp.get(fn, fn), files_to_download)
方案二:方案一
中有两个问题这是我的第二个解决方案:
from paramiko import SSHClient, AutoAddPolicy, SFTPClient
from concurrent.futures import ThreadPoolExecutor
from threading import Lock, local
from typing import List
client = SSHClient()
ciient.set_missing_host_key_policy(AutoAddPolicy())
client.connect( ... )
thread_local = local()
thread_lock = Lock()
files_to_download: List[str] = ...
def download(fn: str) -> None:
"""
thread-safe and each thread has its own SFTPClient
"""
if not hasattr(thread_local, 'sftp'):
with thread_lock:
thread_local.sftp = client.open_sftp()
thread_local.sftp.get(fn, fn)
with ThreadPoolExecutor(10) as pool:
pool.map(download, files_to_download)
哪种解决方案更好?
最佳答案
Paramiko 不是线程安全的。
在一个连接上使用多个线程可能无法提供您希望的性能。您必须为每个线程打开一个单独的连接 (SSHClient
/SFTPClient
)。
只有一个连接,你会有更好的性能,只有在传输大量小文件的情况下。为此,请参阅 Slow upload of many small files with SFTP .
关于python - 是否有必要在多线程的 Paramiko 中为每个线程打开一个 SFTPClient?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50421508/
当我使用 SSH.NET 通过 SFTP 传输文件时,我观察到一些奇怪的行为。我正在使用 SFTP 将 XML 文件传输到另一个服务(我不控制)进行处理。如果我使用 SftpClient.WriteA
我是 SFTP 服务器的新手。我尝试使用 SFTP 服务器上传和下载文件。这是一个独立的应用程序。从远程服务器到本地服务器下载文件时,我可以使用以下 SFTP 代码在指定路径下下载文件列表: sftp
我尝试使用 j2ssh SshClient 但没有成功。 我正在尝试使用 RSA 私钥 + 密码打开连接。我发现了一些我不确定是写入方法的东西: Properties properties = new
我想使用多线程的 Paramiko 从远程服务器下载文件。 我想到了两个解决方案,但我不确定哪个是正确的(或更好的)。 解决方案 1:假设 SFTPClient.get 是线程安全的(但我找不到任何提
我想将文件从远程服务器复制到本地。 import paramiko paramiko.util.log_to_file('/tmp/paramiko.log') # open transport us
在我使用 Renci SSH.NET SFTP 库将文件从 Windows 上传到远程计算机 (Ubuntu 16.04 LTS) 后,我正在尝试使用扩展文件属性来存储一些信息。但是属性没有得到保留?
我正在升级一个应用程序,该应用程序使用 Java 通过 sshtools 库通过 SSH 下载文件。 建立 ssh 连接后,我打开 SftpClient 并开始使用 SftpClient 的 get
我知道使用 Paramiko 的 SSHClient 类,您可以像这样设置一个宽松的丢失主机 key 策略: ssh = paramiko.SSHClient() ssh.set_missing_ho
我继承了一个基于 Java 的项目,其中包含一个 cron 作业,用于通过 SFTP 将文件上传到第三方服务器。这是相关代码。 String filePath = IUtil.getInstance(
我正在尝试远程读取 netcdf 文件。 我使用 Paramiko 包来读取我的文件,如下所示: import paramiko from netCDF4 import Dataset client
我正在开发一个简单的 WPF 应用程序,其唯一目的是使用 Renci SSH.net 库获取 SshClient 的工作目录并将其进一步传递给 SftpClient。 我似乎无法使用从 RunComm
我已经看到关于此错误的其他线程,但我随机遇到此错误。在 30 个连接中,有 12 个出现此错误。试图了解这是为什么,以及可能的解决方案是什么。 using (SftpClient client = n
我想以这样的事实作为序言:我仍然是 Paramiko 的菜鸟,所以这可能是完全不可能的。 我要开一个.wav我的计算机上的服务器上的文件,以便对其进行一些语音识别。为此,我使用 Paramiko 创建
我正在使用 SSH.NET通过安全的 SSH/SFTP 连接实现文件下载。我还需要能够看到下载进度,并能够在用户需要时中止下载。所以代码看起来像这样: ConnectionInfo conn = ne
当我尝试执行时,我收到“信息:远程计算机已断开连接:协议(protocol)错误:数据包太长:65580”错误: sUpload("server.host.com", "username", "/ho
我是一名优秀的程序员,十分优秀!