gpt4 book ai didi

python - 很快获得文件夹的总大小

转载 作者:IT老高 更新时间:2023-10-28 20:31:37 33 4
gpt4 key购买 nike

我想使用 python 快速找到任何文件夹的总大小。

import os
from os.path import join, getsize, isfile, isdir, splitext
def GetFolderSize(path):
TotalSize = 0
for item in os.walk(path):
for file in item[2]:
try:
TotalSize = TotalSize + getsize(join(item[0], file))
except:
print("error with file: " + join(item[0], file))
return TotalSize

print(float(GetFolderSize("C:\\")) /1024 /1024 /1024)

这是我为获取文件夹总大小而编写的简单脚本,大约需要 60 秒(+-5 秒)。通过使用多处理,我在四核机器上将处理时间缩短到了 23 秒。

使用 Windows 文件资源管理器只需约 3 秒(右键单击-> 属性自行查看)。那么有没有一种更快的方法来找到接近 windows 可以做到的文件夹的总大小?

Windows 7,python 2.6(进行了搜索,但大多数时候人们使用的方法与我自己的方法非常相似)提前致谢。

最佳答案

你处于劣势。

Windows 资源管理器几乎可以肯定使用 FindFirstFile/FindNextFile 来遍历目录结构一次性收集大小信息(通过 lpFindFileData),从而使本质上是一个系统按文件调用。

不幸的是,在这种情况下,Python 不是你的 friend 。因此,

  1. os.walk 首先调用os.listdir(内部调用FindFirstFile/FindNextFile)
    • 从此时起进行的任何额外系统调用只会让您比 Windows 资源管理器慢
  2. os.walk 然后为 os.listdir 返回的每个文件调用 isdir(内部调用 GetFileAttributesEx -- 或者,在 Win2k 之前,一个 GetFileAttributes+FindFirstFile 组合)来重新确定是否递归
  3. os.walkos.listdir 将执行额外的内存分配、字符串和数组操作等来填写它们的返回值
  4. 然后为 os.walk 返回的每个文件调用 getsize(再次调用 GetFileAttributesEx)

每个文件的系统调用量是 Windows 资源管理器的 3 倍,加上内存分配和操作开销。

你可以使用 Anurag 的解决方案,也可以尝试直接递归调用 FindFirstFile/FindNextFile (这应该与 cygwin 或其他 win32 port 的性能相当 du -s some_directory.)

os.walk的实现引用os.pylistdirwin32_stat的实现引用posixmodule.c(都调用isdirgetsize.)

请注意,Python 的 os.walk 在所有平台(Windows 和 *nices)上都不是最理想的,直到并包括 Python3.1。在 Windows 和 *nices 上,os.walk 都可以在不调用 isdir 的情况下一次性实现遍历,因为 FindFirst/FindNext (Windows) 和 opendir/readdir (*nix) 已经通过 lpFindFileData->dwFileAttributes (Windows) 和 返回文件类型dirent::d_type (*nix)。

也许与直觉相反,在大多数现代配置(例如 Win7 和 NTFS,甚至一些 SMB 实现)上,GetFileAttributesEx 的速度是 FindFirstFile两倍单个文件(可能甚至比使用 FindNextFile 遍历目录还要慢。)

更新: Python 3.5 包含新的 PEP 471 os.scandir() 函数,该函数通过返回文件属性和文件名来解决此问题。这个新函数用于加速内置的 os.walk()(在 Windows 和 Linux 上)。您可以使用 scandir module on PyPI 为较旧的 Python 版本(包括 2.x)获取此行为。

关于python - 很快获得文件夹的总大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2485719/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com