- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在编写一个脚本来查找两个不同文件树中的所有重复文件。该脚本运行良好,但速度太慢,无法在处理大量文件(> 1000)时使用。使用 cProfile 对我的脚本进行分析后发现,代码中的一行几乎占据了所有的执行时间。
该行是对 os.system() 的调用:
cmpout = os.system("cmp -s -n 10MiB %s %s" % (callA, callB));
此调用位于 for 循环内,如果我有 N 个相同的文件,则该循环会被调用大约 N 次。平均执行时间0.53秒
ncalls tottime percall cumtime percall filename:lineno(function)
563 301.540 0.536 301.540 0.536 {built-in method system}
这当然很快就会增加一千多个文件。我尝试通过用子进程模块的调用替换它来加速它:
cmpout = call("cmp -s -n 10MiB %s %s" % (callA, callB), shell=True);
但这具有几乎相同的执行时间。我也尝试过减少 cmp 命令本身的字节限制,但这只能节省很少的时间。
有什么办法可以加快速度吗?
我正在使用的完整功能:
def dirintersect(dirA, dirB):
intersectionAB = []
filesA = listfiles(dirA);
filesB = listfiles(dirB);
for (pathB, filenameB) in filesB:
for (pathA, filenameA) in filesA:
if filenameA == filenameB:
callA = shlex.quote(os.path.join(pathA, filenameA));
callB = shlex.quote(os.path.join(pathB, filenameB));
cmpout = os.system("cmp -s -n 10MiB %s %s" % (callA, callB));
#cmpout = call("cmp -s -n 10MiB %s %s" % (callA, callB), shell=True);
if cmpout is 0:
intersectionAB.append((filenameB, pathB, pathA))
return intersectionAB
更新:感谢您的所有反馈!我将尽力解决您的大部分评论并提供更多信息。@Iarsmans。你说得对,我的嵌套 for 循环与 n² 成比例,我自己已经发现我可以通过使用字典或集合并执行集合操作来完成相同的操作。但即使是这种“糟糕”算法的开销对于运行 os.system 所需的时间来说也是微不足道的。实际的 if 子句对每个文件名大约触发一次(也就是说,我希望每个文件名只有一个重复项)。因此 os.system 只运行了 N 次,而不是 N² 次,但即使对于这个线性时间,它也不够快。
@Iarsman 和 @Alex Reynolds:我没有选择像您建议的那样的散列解决方案的原因是因为在使用案例中,我设想我将较小的目录树与较大的目录树进行比较,并对目录中的所有文件进行散列较大的树将花费很长时间(因为它可能是整个分区中的所有文件),而我只需要对一小部分文件进行实际比较。
@abarnert:我在 call 命令中使用 shell=True 的原因很简单,因为我从 os.system 开始,然后读到最好使用 subprocess.call,这也是在两者之间进行转换的方法。如果有更好的方法来运行 cmp 命令,我想知道。我 qoute 参数的原因是因为当我刚刚在命令中传递 os.path.join 结果时,我遇到了文件名中空格的问题。
感谢您的建议,我将其更改为if cmpout == 0
@Gabe:我不知道如何计算 bash 命令的时间,但我相信当我运行该命令时,它的运行速度比半秒快得多。
我说字节限制并不重要,因为当我将其更改为仅 10Kib 时,它将测试运行的总执行时间更改为 290 秒,而不是大约 300 秒。我保留限制的原因是为了防止它比较非常大的文件(例如 1GiB 视频文件)。
更新 2:我已遵循 @abarnert 的建议并将调用更改为:
cmpout = call(["cmp", '-s', '-n', '10MiB', callA, callB])
我的测试场景的执行时间现已从 300 秒降至 270 秒。虽然还不够,但这是一个开始。
最佳答案
您使用了错误的算法来执行此操作。比较所有文件对需要 n 个文件的 Θ(n²) 时间,而您可以通过对文件进行散列来在线性时间内获得两个目录的交集:
from hashlib import sha512
import os
import os.path
def hash_file(fname):
with open(fname) as f:
return sha512(f.read()).hexdigest()
def listdir(d):
return [os.path.join(d, fname) for fname in os.listdir(d)]
def dirintersect(d1, d2):
files1 = {hash_file(fname): fname for fname in listdir(d1)}
return [(files1[hash_file(fname)], fname) for fname in listdir(d2)
if hash_file(fname) in files1]
此函数循环第一个目录,存储按 SHA-512 哈希索引的文件名,然后根据第一个目录构建的索引中是否存在具有相同哈希的文件来过滤第二个目录中的文件。一些明显的优化留给读者作为练习:)
该函数假设目录仅包含常规文件或这些文件的符号链接(symbolic link),并且它会将文件一次性读入内存(但这并不难修复)。
(SHA-512 实际上并不保证文件相等,因此可以安装完整比较作为备份措施,尽管您很难找到具有相同 SHA-512 的两个文件。)
关于Python os.system 调用慢约 1/2 秒,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25577169/
为了让我的代码几乎完全用 Jquery 编写,我想用 Jquery 重写 AJAX 调用。 这是从网页到 Tomcat servlet 的调用。 我目前情况的类似代码: var http = new
我想使用 JNI 从 Java 调用 C 函数。在 C 函数中,我想创建一个 JVM 并调用一些 Java 对象。当我尝试创建 JVM 时,JNI_CreateJavaVM 返回 -1。 所以,我想知
环顾四周,我发现从 HTML 调用 Javascript 函数的最佳方法是将函数本身放在 HTML 中,而不是外部 Javascript 文件。所以我一直在网上四处寻找,找到了一些简短的教程,我可以根
我有这个组件: import {Component} from 'angular2/core'; import {UserServices} from '../services/UserService
我正在尝试用 C 实现一个简单的 OpenSSL 客户端/服务器模型,并且对 BIO_* 调用的使用感到好奇,与原始 SSL_* 调用相比,它允许一些不错的功能。 我对此比较陌生,所以我可能会完全错误
我正在处理有关异步调用的难题: 一个 JQuery 函数在用户点击时执行,然后调用一个 php 文件来检查用户输入是否与数据库中已有的信息重叠。如果是这样,则应提示用户确认是否要继续或取消,如果他单击
我有以下类(class)。 public Task { public static Task getInstance(String taskName) { return new
嘿,我正在构建一个小游戏,我正在通过制作一个数字 vector 来创建关卡,该数字 vector 通过枚举与 1-4 种颜色相关联。问题是循环(在 Simon::loadChallenge 中)我将颜
我有一个java spring boot api(数据接收器),客户端调用它来保存一些数据。一旦我完成了数据的持久化,我想进行另一个 api 调用(应该处理持久化的数据 - 数据聚合器),它应该自行异
首先,这涉及桌面应用程序而不是 ASP .Net 应用程序。 我已经为我的项目添加了一个 Web 引用,并构建了各种数据对象,例如 PayerInfo、Address 和 CreditCard。但问题
我如何告诉 FAKE 编译 .fs文件使用 fsc ? 解释如何传递参数的奖励积分,如 -a和 -target:dll . 编辑:我应该澄清一下,我正在尝试在没有 MSBuild/xbuild/.sl
我使用下划线模板配置了一个简单的主干模型和 View 。两个单独的 API 使用完全相同的配置。 API 1 按预期工作。 要重现该问题,请注释掉 API 1 的 URL,并取消注释 API 2 的
我不确定什么是更好的做法或更现实的做法。我希望从头开始创建目录系统,但不确定最佳方法是什么。 我想我在需要显示信息时使用对象,例如 info.php?id=100。有这样的代码用于显示 Game.cl
from datetime import timedelta class A: def __abs__(self): return -self class B1(A):
我在操作此生命游戏示例代码中的数组时遇到问题。 情况: “生命游戏”是约翰·康威发明的一种细胞自动化技术。它由一个细胞网格组成,这些细胞可以根据数学规则生存/死亡/繁殖。该网格中的活细胞和死细胞通过
如果我像这样调用 read() 来读取文件: unsigned char buf[512]; memset(buf, 0, sizeof(unsigned char) * 512); int fd;
我用 C 编写了一个简单的服务器,并希望调用它的功能与调用其他 C 守护程序的功能相同(例如使用 ./ftpd start 调用它并使用 ./ftpd stop 关闭该实例)。显然我遇到的问题是我不知
在 dos 中,当我粘贴此命令时它会起作用: "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" https://google.
在 dos 中,当我粘贴此命令时它会起作用: "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" https://google.
我希望能够从 cmd 在我的 Windows 10 计算机上调用 python3。 我已重新安装 Python3.7 以确保选择“添加到路径”选项,但仍无法调用 python3 并使 CMD 启动 P
我是一名优秀的程序员,十分优秀!