pytorch - TorchServe MAR 每个模型有多个 Python 文件

Question

在调用 MAR 之前，有没有办法在多个文件之间拆分模型？
例如，如果我有文件 base_model.py :

import torch
from torch import nn


class BaseModel(nn.Module):
    ...

还有一个继承自 BaseModel 的模型:

from base_model import BaseModel


class FullModel(BaseModel):
    ...

处理程序也是如此。我不知道如何在多个文件之间拆分代码。

Answer 1

简短回答:是的
您可以将主模型文件和剩余文件作为额外文件传递。
例如: full_model.py 使用 --model-file ./xxx/aaa/full_model.py 和所有其他文件使用 --extra-files ./xxx/bbb/base_model_1.py,./xxx/ccc/base_model_2.py,./xxx/ddd/mini_handler.py,./xxx/eee/mini_handler_2.py 。
在打包为 .mar 文件之前，所有文件都将位于一个文件夹中。考虑到这一点，您可能需要稍微更改 python 文件中的导入。
总而言之，它应该类似于

torch-model-archiver \
    --model-name recommendation \
    --version 1.0 \
    --model-file src/model/full_model.py \
    --serialized-file model/model.pt \
    --handle model_handler.py \
    --extra-files \
"dd/utils/utils.py,\
ee/network_config.json,\
ff/utils/preprocess.py,\
gg/utils/data_loader.py\

现在您可以通过正常导入在模型处理程序中使用来自预处理或数据加载器的函数