python - 运行时错误 : PytorchStreamReader failed locating file data. pkl:找不到文件

Question

我一直在尝试使用利用 src+img 的模型来训练一些数据。运行训练脚本时，我遇到了一个错误:RuntimeError: PytorchStreamReader failed locating file data.pkl: file not found

这里面的.pkl文件应该是pickled的.pt文件。

首先我想也许我没有正确指定预处理的training.pt文件，但实际上是正确指定的。

data.pkl 没有被转储到任何地方(或者我没有找到它)。我猜它与 pickle accordimg 文档有关:

“这种保存/加载过程使用最直观的语法，涉及的代码量最少。以这种方式保存模型将使用 Python 的 pickle 模块保存整个模块。这种方法的缺点是序列化的数据绑定(bind)到特定的类和保存模型时使用的确切目录结构。这样做的原因是因为 pickle 不保存模型类本身。而是保存包含该类的文件的路径，该路径用于在加载期间。因此，您的代码在用于其他项目或重构后可能会以各种方式中断。”

我尝试了很多方法，比如更改脚本中的 data.pkl 以查看是否生成了损坏的文件，但情况似乎并非如此。

如果有人愿意提供帮助，我将不胜感激:

完整错误:

  File "train_mm.py", line 448, in <module>
    main()
  File "train_mm.py", line 423, in main
    first_dataset = next(lazily_load_dataset("train"))
  File "train_mm.py", line 314, in lazily_load_dataset
    yield lazy_dataset_loader(pt, corpus_type)
  File "train_mm.py", line 305, in lazy_dataset_loader
    dataset = torch.load(pt_file)
  File "/usr/local/lib/python3.7/dist-packages/torch/serialization.py", line 607, in load
    return _load(opened_zipfile, map_location, pickle_module, **pickle_load_args)
  File "/usr/local/lib/python3.7/dist-packages/torch/serialization.py", line 878, in _load
    data_file = io.BytesIO(zip_file.get_record(pickle_file))
RuntimeError: PytorchStreamReader failed locating file data.pkl: file not found

已解决:我重新运行了预处理脚本，它生成了新的 .pt 文件，错误已解决

Answer 1

这个问题已经解决了。 .pt 文件已严重损坏。删除损坏的 .pt 文件并重新运行预处理脚本和训练脚本后，我没有再收到错误。