python - 神经网络中的预训练 (Word2Vec) 嵌入

Question

如果我必须使用预训练词向量作为神经网络(例如 CNN)中的嵌入层，我该如何处理索引 0？

详细信息:

我们通常从创建一个零 numpy 二维数组开始。稍后我们从词汇表中填写单词索引。问题是，0 已经是我们词汇表中另一个词的索引(比如，'i' 的索引为 0)。因此，我们基本上是用“i”而不是空词来初始化整个矩阵。那么，我们如何处理填充所有等长的句子呢？

一个简单的弹出窗口是我们可以使用另一个 digit=numberOfWordsInVocab+1 来填充。但这不会需要更大的尺寸吗？ [帮帮我!]

Answer 1

One easy pop-up in mind is we can use the another digit=numberOfWordsInVocab+1 to pad. But wouldn't that take more size?

不!那是一样的大小。

a=np.full((5000,5000), 7)
a.nbytes
200000000

b=np.zeros((5000,5000))
b.nbytes
200000000

编辑:打字错误