azure - 在Azure机器学习服务Nvidia Compute中导入sentence_transformers时出现段错误

Question

我想在 AML 中使用 Sentence_transformers 来运行 XLM-Roberta 模型以进行句子嵌入。我有一个脚本，在其中导入句子转换器:

from sentence_transformers import SentenceTransformer

运行 AML 管道后，此脚本运行失败，并出现以下错误:

AzureMLCompute job failed.
UserProcessKilledBySystemSignal: Job failed since the user script received system termination signal usually due to out-of-memory or segfault.
    Cause: segmentation fault
    TaskIndex: 
    NodeIp: #####
    NodeId: #####

我非常确定此导入导致了此错误，因为如果我注释掉此导入，脚本的其余部分将运行。这很奇怪，因为句子转换器的安装成功了。

这是我的计算的详细信息:

Virtual machine size
STANDARD_NV24 (24 Cores, 224 GB RAM, 1440 GB Disk)
Processing Unit
GPU - 4 x NVIDIA Tesla M60

代理池:

Azure Pipelines

代理规范:

ubuntu-16.04

requirements.txt 文件:

torch==1.4.0
sentence-transformers

有人能解决这个错误吗？

Answer 1

我通过将 pytorch 版本从 1.4.0 更改为 1.6.0 解决了该问题。所以requirements.txt看起来像这样:

torch==1.6.0
sentence-transformers

首先我尝试了一个旧版本的句子转换器，它与 pytorch 1.4.0 兼容。但旧版本不支持“xml-roberta-base”模型，所以我尝试升级pytorch版本。