python - 无法导入编码器代码进行微调GPT-2

Question

我正在尝试重现本文中的示例:https://medium.com/@ngwaifoong92/beginners-guide-to-retrain-gpt-2-117m-to-generate-custom-text-content-8bb5363d8b7f

示例代码来自以下存储库:https://github.com/nshepperd/gpt-2

安装需求并下载模型后，下一步是训练模型，为此必须执行此代码:

python encode.py lyric.txt lyric.npz

这里的问题是，这需要导入以下模块:

import argparse
import numpy as np

import encoder
from load_dataset import load_dataset

其中encoder和load_dataset位于子目录中:

|--encode.py
 --src
   |--encoder.py
   |--load_dataset.py

这会生成以下错误:

ModuleNotFoundError: No module named 'encoder'

我尝试创建 __init__.py 文件并将其导入为

src.encoder 和 src.load_dataset 但它们也不起作用。

在中篇文章中，作者建议将文件 encoder.py 移动到 src 并从那里执行代码，问题是这样做也会破坏模型的相对路径，尽管我处理过其他文件的路径问题也持续存在。

Answer 1

1. 在 src 文件夹中创建一个名为 __init__.py 的空文件。
2. 将编码器导入为:从src导入编码器