python - DeepPavlov elmo 太慢了

Question

我尝试使用 DeepPavlov 库中的 ELMO 嵌入 (ElmoEmbedder)。它运行速度非常慢，每 100 个句子需要 64 秒。

我尝试增加 mini_batch_size，但它并没有加快算法速度。

是否可以加快 ElmoEmbedder 的速度？

Answer 1

mini_batch_size 仅当您在 GPU 上运行模型时才可能对性能产生重大影响。

如果您没有 GPU，请尝试使用 Google Colab 。它为您提供对 GPU 和 TPU 的免费访问。

!pip install deeppavlov

from deeppavlov.deep import find_config
from deeppavlov.core.commands.infer import build_model
config_path = find_config('elmo_ru-wiki')
model = build_model(config_path, load_trained = True, download = True)
a = model(data)

不要忘记在编辑->笔记本设置->硬件加速器中启用GPU