- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我需要迭代文件服务器上的所有文件,并且我希望能够停止该进程并稍后在文件树中的任何位置恢复它。这可以用 os.walk 来完成,还是需要从头开始实现?
编辑:理想情况下,我希望解决方案是持久的,以便脚本可以停止并稍后恢复。
最佳答案
os.walk
是一个完全正常的生成器函数,这意味着您可以调用它,保存生成的生成器,并在闲暇时迭代它。例如:
w = os.walk(root)
for root, dirs, files in w:
if root == 'foo':
break
else:
# usual stuff
print('Hey, we found foo')
for root, dirs, files in w:
# usual stuff
您甚至可以w
到一个函数,或者从一个函数返回它,或者将它用作您最喜欢的itertools
函数的迭代器,等等。
你不能用它做的一件大事就是腌制它。因此,如果您想将其持久保存到磁盘(或数据库),以便可以退出程序并从中断处恢复,或者将其发送到子进程以完成,或者其他什么,您不能这样做.
如果您有能力提前完成整个步行,而不是懒惰地进行(即,您不需要动态修剪步行,并且步行本身的时间和存储空间与时间和时间相形见绌)实际工作所需的存储空间),您只需保留 list(w)
即可。然后,您只需要跟踪该列表以及到目前为止您所到达的索引(或者只保留 wlist[index:]
而不是 wlist
和 索引
)。但对于某些用例,这是 Not Acceptable 。
幸运的是,walk
是用纯Python实现的,而且非常简单,所以你可以从the source复制代码。并修改它以使状态持久。问题在于,通过“yield”的魔力,状态部分是隐式的,因此您必须将生成器从内到外翻转,或者将其转换为等效的纯迭代解决方案。这是一个开始:
class Walk(object):
def __init__(self, top):
self.queue = [top]
def __iter__(self):
return self
def __next__(self):
top = self.queue.pop(0)
names = os.listdir(top)
dirs, nondirs = [], []
for name in names:
if os.path.isdir(os.path.join(top, name)):
dirs.append(name)
else:
nondirs.append(name)
self.queue.extend(os.path.join(top, dir) for dir in dirs)
return top, dirs, nondirs
这不处理任何可选参数。 followlinks=False
和 onerror
是微不足道的。处理 topdown=True
的动态修剪并不复杂(只需隐藏 top
和 dirs
,并在下一个开始时将子项排入队列)调用而不是这个的结束)。执行 topdown=False
会更痛苦一些,但仍然不会太坏(您可以为标准递归到迭代转换创建一个显式状态堆栈,或者保留一个额外的双端队列,或者只是创建、存储和迭代新 Walk
对象的列表)。如果您不需要它们,请不要添加它们。
我相信这将pickle
而无需任何更改。 (如果不是,那么要么是一个微不足道的 __getstate__
,要么是一个近乎微不足道的 __reduce__
无法正常工作。)如果您使用的是不同的持久性机制,实际上,您只需要persist 是,这是一个 Walk
对象,其 queue
是 self.queue
(它只是一个字符串列表),所以这应该很容易.
关于Python os.walk,保存状态的方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15800310/
我想了解 Ruby 方法 methods() 是如何工作的。 我尝试使用“ruby 方法”在 Google 上搜索,但这不是我需要的。 我也看过 ruby-doc.org,但我没有找到这种方法。
Test 方法 对指定的字符串执行一个正则表达式搜索,并返回一个 Boolean 值指示是否找到匹配的模式。 object.Test(string) 参数 object 必选项。总是一个
Replace 方法 替换在正则表达式查找中找到的文本。 object.Replace(string1, string2) 参数 object 必选项。总是一个 RegExp 对象的名称。
Raise 方法 生成运行时错误 object.Raise(number, source, description, helpfile, helpcontext) 参数 object 应为
Execute 方法 对指定的字符串执行正则表达式搜索。 object.Execute(string) 参数 object 必选项。总是一个 RegExp 对象的名称。 string
Clear 方法 清除 Err 对象的所有属性设置。 object.Clear object 应为 Err 对象的名称。 说明 在错误处理后,使用 Clear 显式地清除 Err 对象。此
CopyFile 方法 将一个或多个文件从某位置复制到另一位置。 object.CopyFile source, destination[, overwrite] 参数 object 必选
Copy 方法 将指定的文件或文件夹从某位置复制到另一位置。 object.Copy destination[, overwrite] 参数 object 必选项。应为 File 或 F
Close 方法 关闭打开的 TextStream 文件。 object.Close object 应为 TextStream 对象的名称。 说明 下面例子举例说明如何使用 Close 方
BuildPath 方法 向现有路径后添加名称。 object.BuildPath(path, name) 参数 object 必选项。应为 FileSystemObject 对象的名称
GetFolder 方法 返回与指定的路径中某文件夹相应的 Folder 对象。 object.GetFolder(folderspec) 参数 object 必选项。应为 FileSy
GetFileName 方法 返回指定路径(不是指定驱动器路径部分)的最后一个文件或文件夹。 object.GetFileName(pathspec) 参数 object 必选项。应为
GetFile 方法 返回与指定路径中某文件相应的 File 对象。 object.GetFile(filespec) 参数 object 必选项。应为 FileSystemObject
GetExtensionName 方法 返回字符串,该字符串包含路径最后一个组成部分的扩展名。 object.GetExtensionName(path) 参数 object 必选项。应
GetDriveName 方法 返回包含指定路径中驱动器名的字符串。 object.GetDriveName(path) 参数 object 必选项。应为 FileSystemObjec
GetDrive 方法 返回与指定的路径中驱动器相对应的 Drive 对象。 object.GetDrive drivespec 参数 object 必选项。应为 FileSystemO
GetBaseName 方法 返回字符串,其中包含文件的基本名 (不带扩展名), 或者提供的路径说明中的文件夹。 object.GetBaseName(path) 参数 object 必
GetAbsolutePathName 方法 从提供的指定路径中返回完整且含义明确的路径。 object.GetAbsolutePathName(pathspec) 参数 object
FolderExists 方法 如果指定的文件夹存在,则返回 True;否则返回 False。 object.FolderExists(folderspec) 参数 object 必选项
FileExists 方法 如果指定的文件存在返回 True;否则返回 False。 object.FileExists(filespec) 参数 object 必选项。应为 FileS
我是一名优秀的程序员,十分优秀!