gpt4 book ai didi

for-loop - 如何在目录的for循环中使用tqdm获取进度条

转载 作者:行者123 更新时间:2023-12-05 03:05:56 26 4
gpt4 key购买 nike

我正在尝试有条件地从目录加载一些文件。我希望 tqdm 在这个过程中有一个进度条。我目前正在运行这个:

loaddir = r'D:\Folder'
# loop the files in the directory
print('Data load initiated')
for subdir, dirs, files in os.walk(loaddir_res):
for name in tqdm(files):
if name.startswith('Test'):
#do things

给出

Data load initiated

0%| | 0/6723 [00:00<?, ?it/s]
0%| | 26/6723 [00:00<00:28, 238.51it/s]
1%| | 47/6723 [00:00<00:31, 213.62it/s]
1%| | 72/6723 [00:00<00:30, 220.84it/s]
1%|▏ | 91/6723 [00:00<00:31, 213.59it/s]
2%|▏ | 115/6723 [00:00<00:30, 213.73it/s]

这有两个问题:

  1. 更新进度后,我在 Spyder 中的 IPython 控制台中会出现一个新行
  2. 我实际上是在对文件而不是对以“测试”开头的文件进行循环计时,因此进度和剩余时间不准确。

但是,如果我尝试这样做:

loaddir = r'D:\Folder'
# loop the files in the directory
print('Data load initiated')
for subdir, dirs, files in os.walk(loaddir_res):
for name in files:
if tqdm(name.startswith('Test')):
#do things

我收到以下错误。

Traceback (most recent call last):

File "<ipython-input-80-b801165d4cdb>", line 21, in <module>
if tqdm(name.startswith('Probe')):

TypeError: 'NoneType' object cannot be interpreted as an integer

我希望只有一行的进度条在 startswith 循环被激活时更新。

----更新----

我也查到了here它也可以这样使用:

files = [f for f in tqdm(files) if f.startswith('Test')]

它允许通过用 tqdm 包装可迭代来跟踪列表理解的进度。然而在 spyder 中,这会导致每个进度更新单独一行。

----更新2----它实际上在 spyder 中运行良好。有时如果循环失败,它可能会返回打印一行进度更新。但在最新更新后,我很少看到这种情况。

最佳答案

首先是答案:

loaddir = r'D:\surfdrive\COMSOL files\Batch folder\Current batch simulation files'
# loop the files in the directory
print('Data load initiated')
for subdir, dirs, files in os.walk(loaddir_res):
files = [f for f in files if f.startswith('Test')]
for name in tqdm(files):
#do things

这将适用于任何体面的环境(包括裸终端)。解决方案是不给 tqdm 未使用的文件名。你可能会发现 https://github.com/tqdm/tqdm/wiki/How-to-make-a-great-Progress-Bar有见地。

其次,多行输出的问题是众所周知的,并且由于某些环境因不支持回车 (\r) 而被破坏 (https://github.com/tqdm/tqdm#faq-and-known-issues)。

Spyder 中此问题的正确链接是 https://github.com/tqdm/tqdm/issues/512https://github.com/spyder-ide/spyder/issues/6172

关于for-loop - 如何在目录的for循环中使用tqdm获取进度条,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50137616/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com