- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我想使用 python 快速找到任何文件夹的总大小。
import os
from os.path import join, getsize, isfile, isdir, splitext
def GetFolderSize(path):
TotalSize = 0
for item in os.walk(path):
for file in item[2]:
try:
TotalSize = TotalSize + getsize(join(item[0], file))
except:
print("error with file: " + join(item[0], file))
return TotalSize
print(float(GetFolderSize("C:\\")) /1024 /1024 /1024)
这是我为获取文件夹总大小而编写的简单脚本,大约需要 60 秒(+-5 秒)。通过使用多处理,我在四核机器上将处理时间缩短到了 23 秒。
使用 Windows 文件资源管理器只需约 3 秒(右键单击-> 属性自行查看)。那么有没有一种更快的方法来找到接近 windows 可以做到的文件夹的总大小?
Windows 7,python 2.6(进行了搜索,但大多数时候人们使用的方法与我自己的方法非常相似)提前致谢。
最佳答案
你处于劣势。
Windows 资源管理器几乎可以肯定使用 FindFirstFile
/FindNextFile
来遍历目录结构和一次性收集大小信息(通过 lpFindFileData
),从而使本质上是一个系统按文件调用。
不幸的是,在这种情况下,Python 不是你的 friend 。因此,
os.walk
首先调用os.listdir
(内部调用FindFirstFile
/FindNextFile
)
os.walk
然后为 os.listdir
返回的每个文件调用 isdir
(内部调用 GetFileAttributesEx
-- 或者,在 Win2k 之前,一个 GetFileAttributes
+FindFirstFile
组合)来重新确定是否递归os.walk
和 os.listdir
将执行额外的内存分配、字符串和数组操作等来填写它们的返回值os.walk
返回的每个文件调用 getsize
(再次调用 GetFileAttributesEx
)每个文件的系统调用量是 Windows 资源管理器的 3 倍,加上内存分配和操作开销。
你可以使用 Anurag 的解决方案,也可以尝试直接递归调用 FindFirstFile
/FindNextFile
(这应该与 cygwin
或其他 win32 port 的性能相当 du -s some_directory
.)
os.walk
的实现引用os.py
,listdir
和win32_stat
的实现引用posixmodule.c
(都调用isdir
和 getsize
.)
请注意,Python 的 os.walk
在所有平台(Windows 和 *nices)上都不是最理想的,直到并包括 Python3.1。在 Windows 和 *nices 上,os.walk
都可以在不调用 isdir
的情况下一次性实现遍历,因为 FindFirst
/FindNext
(Windows) 和 opendir
/readdir
(*nix) 已经通过 lpFindFileData->dwFileAttributes
(Windows) 和 返回文件类型dirent::d_type
(*nix)。
也许与直觉相反,在大多数现代配置(例如 Win7 和 NTFS,甚至一些 SMB 实现)上,GetFileAttributesEx
的速度是 FindFirstFile
的 两倍单个文件(可能甚至比使用 FindNextFile
遍历目录还要慢。)
更新: Python 3.5 包含新的 PEP 471 os.scandir()
函数,该函数通过返回文件属性和文件名来解决此问题。这个新函数用于加速内置的 os.walk()
(在 Windows 和 Linux 上)。您可以使用 scandir module on PyPI 为较旧的 Python 版本(包括 2.x)获取此行为。
关于python - 很快获得文件夹的总大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2485719/
我正在为我的雇主编写脚本,以从他们自己的站点获取某些数据。出于一长串原因,我需要从网站上获取数据,如图所示。我发现,其中一些数据是通过 js 调用检索的... 回想起来,我应该选择 Mechanize
我正在使用 python 和 cryptography.io 来签署和验证消息。我可以通过以下方式获得签名的 DER 编码字节表示: cryptography_priv_key.sign(messag
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 6年前关闭。 Improve thi
是否可以区分 ECDF?以下面得到的为例。 set.seed(1) a <- sort(rnorm(100)) b <- ecdf(a) plot(b) 我想对 b 求导以获得它的概率密度函数 (PD
我找到了如何从 navigator.mimeTypes 获取 mimetypes: function GetMimeTypes() { var message = ""; var mi
我在表单中使用单选按钮来隐藏/显示联系人表单中的成员 ID 字段。问题是,当 javascript 更改 html 中包含的隐藏 id 字段(该字段设置为“无”值)时,该字段将不再通过 post 可用
我正在做单元测试。我必须测试所有可能的if..else情况。但是在此if语句中: int32_t i32Res = snprintf(buffer, len, "The%d_String_%d", 0
我有一个 Facebook 应用程序,我想从中获取“喜欢”的总数。我想知道这是否可能。 其中 ID 是应用程序的 ID,ACCESS_TOKEN 是我尝试过的应用程序的当前访问 token : gra
如果我有多个计算实例尝试同时获取同一个 blob 的租约,则似乎经常会成功。我的印象是,一旦租约发出(并因此被客户获得),就不可能同时发出另一个租约? 我希望情况确实如此,我一直在 Azure 中使用
这是我的索引 POST /blogs/1 { "name" : "learn java", "popularity" : 100 } POST /blogs/2 { "name" : "l
我正在将 Symfony2 与 FOSUserBundle 一起使用。我需要为用户获得最高角色。 role_hierarchy: ROLE_CONTRIBUTOR: ROLE_USER
我正在向服务器发送基于 REST 的请求。我希望尽快得到答复,并希望了解可以进行的各种优化。 一种方法当然是在线程中并行发送这些请求。还有哪些其他选项可用于优化此功能? 在服务器上,可以添加哪些配置?
这可能是某种重复的问题,但我似乎找不到合适的解决方案。我正在使用 git4idea.history.GitHistoryUtils.history() 获取提交列表。如果 checkout 其中一个较
我正在做一个程序,可以输入每周的工资和那一周的总工作时间。它应该以小时工资率显示答案。但是我无法显示正确的“centavos/2 decimal places”公式并且它不想使用 float % fl
已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足Stack Overflow guidelines 。目前不接受答案。 我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题,以便
我已经尝试了 mContext.getMainLooper() 和 Looper.getMainLooper()。两者都返回相同的结果,但我想知道哪种方法正确? 我还从 Android 开发人员链接中
我有一个“affiliates”表,其中包含“user”和“referredBy”列。 给定一个用户,我希望获得该用户推荐的所有“n 级”玩家。对于 n=1,我们只关心您直接推荐的玩家数量: SELE
我在 PostgreSQL 9.5 数据库中有两个表: project - id - name task - id - project_id - name - updated_
请帮助我怎样才能得到我预期的结果,在此先感谢并抱歉我的英语不好。 PHP: $dog = implode(',', $data['dogbreed']); $query .= "AND `do
我有 let impulse = CGVectorMake(CGFloat(Constants.impulse), 0) 如何在不创建另一个 CGVector 的情况下得到它的负值? 我正在考虑在 C
我是一名优秀的程序员,十分优秀!