python ftp 检索行——性能问题

Question

我正在尝试使用 python 的 ftplib 模块通过 FTP 连接从文件中检索行。读取1GB大小的文件大约需要10分钟。我想知道是否还有其他方法可以更快地阅读这些行。

我应该包含一些代码来展示我在做什么:

ftp.HostName = 'xxx'
ftp.Userid = 'xxx' #so on

ftp.conn.retrlines('RETR ' + fileName, process)

Answer 1

检索远程资源通常受带宽限制，而 FTP 协议(protocol)可以很好地利用这一切。

您确定您的网络连接没有饱和吗？ (运行 ftplib 的客户端和您下载的服务器之间的网络链接是什么？)

信封背面计算:

1GB/10 分钟 =~ 1.7 MB/秒 =~ 13 Mbps

所以您正在以 13 兆位下载。这对于远程 DSL/电缆/WAN 连接来说是不错的速度，但如果这都是本地网络，则显然相当低。