python - 在python中定位大型数据集中的多个文件

Question

我有一个大型图像文件存储库(约 200 万， .jpg )，单个 id 分布在多个子目录中，我试图在包含这些 id 的约 1,000 个子集的列表中定位和复制每个图像。
我对 Python 还是很陌生，所以我的第一个想法是使用 os.walk遍历每个文件的 1k 子集，以查看子集中是否有与 id 匹配的子集。这至少在理论上是有效的，但是每秒 3-5 张图像的速度似乎非常慢。一次查找一个 ID 的所有文件似乎也是如此。

import shutil
import os
import csv

# Wander to Folder, Identify Files
for root, dirs, files in os.walk(ImgFolder):
    for file in files:
        fileName = ImgFolder + str(file)
# For each file, check dictionary for match
        with open(DictFolder, 'r') as data1:
            csv_dict_reader = csv.DictReader(data1)
            for row in csv.DictReader(data1):
                img_id_line = row['id_line']
                isIdentified = (img_id_line in fileName) and ('.jpg' in fileName)
# If id_line == file ID, copy file
                if isIdentified:
                    src = fileName + '.jpg'
                    dst = dstFolder + '.jpg'
                    shutil.copyfile(src,dst)
                else:
                    continue

我一直在考虑尝试自动化查询搜索，但数据包含在 NAS 上，我没有简单的方法来索引文件以加快查询速度。我正在运行代码的机器是 W10，因此我不能使用 Ubuntu Find 方法，我收集的方法在此任务中要好得多。
任何加快进程的方法将不胜感激!

Answer 1

这里有几个脚本可以满足您的需求。index.py此脚本使用 pathlib 遍历目录，搜索具有给定扩展名的文件。它将编写一个包含两列的 TSV 文件，文件名和文件路径。

import argparse
from pathlib import Path


def main(args):
    for arg, val in vars(args).items():
        print(f"{arg} = {val}")

    ext = "*." + args.ext
    index = {}
    with open(args.output, "w") as fh:
        for file in Path(args.input).rglob(ext):
            index[file.name] = file.resolve()
            fh.write(f"{file.name}\t{file.resolve()}\n")


if __name__ == "__main__":
    p = argparse.ArgumentParser()
    p.add_argument(
        "input",
        help="Top level folder which will be recursively "
        " searched for files ending with the value "
        "provided to `--ext`",
    )
    p.add_argument("output", help="Output file name for the index tsv file")
    p.add_argument(
        "--ext",
        default="jpg",
        help="Extension to search for. Don't include `*` or `.`",
    )
    main(p.parse_args())

search.py该脚本会将索引(来自 index.py 的输出)加载到字典中，然后将 CSV 文件加载到字典中，然后对于每个 id_line它将在索引中查找文件名并尝试将其复制到输出文件夹。

import argparse
import csv
import shutil
from collections import defaultdict
from pathlib import Path


def main(args):
    for arg, val in vars(args).items():
        print(f"{arg} = {val}")

    if not Path(args.dest).is_dir():
        Path(args.dest).mkdir(parents=True)

    with open(args.index) as fh:
        index = dict(l.strip().split("\t", 1) for l in fh)
    print(f"Loaded {len(index):,} records")

    csv_dict = defaultdict(list)

    with open(args.csv) as fh:
        reader = csv.DictReader(fh)
        for row in reader:
            for (k, v) in row.items():
                csv_dict[k].append(v)

    print(f"Searching for {len(csv_dict['id_line']):,} files")
    copied = 0
    for file in csv_dict["id_line"]:
        if file in index:
            shutil.copy2(index[file], args.dest)
            copied += 1
        else:
            print(f"!! File {file!r} not found in index")
    print(f"Copied {copied} files to {args.dest}")


if __name__ == "__main__":
    p = argparse.ArgumentParser()
    p.add_argument("index", help="Index file from `index.py`")
    p.add_argument("csv", help="CSV file with target filenames")
    p.add_argument("dest", help="Target folder to copy files to")
    main(p.parse_args())

如何运行这个:

python index.py --ext "jpg" "C:\path\to\image\folder" "index.tsv"
python search.py "index.tsv" "targets.csv" "C:\path\to\output\folder"

我会先在一个/两个文件夹上尝试这个，以检查它是否具有预期的结果。