python - CNTK:从文件加载预训练词嵌入的解决方法

Question

似乎无法将预训练的嵌入加载到图层中。请参阅here

我所做的解决方法如下:

    model = create_model()

    E = [p for p in model.parameters if p.name == 'E'][0]
    emb = np.asarray(np.loadtxt('embeddings.txt', delimiter=' '), dtype='float32')
    model = model.clone(CloneMethod.clone, { E: constant(emb) })

embeddings.txt 具有以下格式，其中行数是我使用的词汇表中的单词数，列数是我为嵌入选择的维度:-0.05952413007617 0.12596195936203 -0.189506858587265 ...-0.0871662572026253 -0.0454806201159954 -0.126074999570847 ......

以上看起来是正确的解决方法吗？我开始了一个训练类(class)，与训练嵌入层时相比，参数数量减少了，这可能是一个很好的指示。

Answer 1

您能否尝试一下:E.value = emb 作为替代解决方法。

您的解决方法将嵌入卡住为常量。如果这是 Not Acceptable ，并且您想进一步训练嵌入，则您可能会选择上述方法。