machine-learning - 隐藏层中矩阵的列在skip-gram模型中表示什么

Question

在跳转语法模型的隐藏层中，我找不到矩阵的各列代表什么。

如果矩阵的行表示单词，那么列也应该表示单词或上下文（如文档）吗？谁能告诉我以上说法是否正确？由于大多数论文都使用“功能”一词，因此我不确定它们是什么意思。

我在下面添加了一张图片，以阐明我在说的矩阵。

Answer 1

简短的答案：它们代表您网络中神经元的数量。它们不一定与您正在使用的单词或语料库的预定义属性相对应。

稍微深入一点：在机器学习中，feature一词更多是一个抽象概念。给定要分类的项目（在这种情况下为单词），可以说该项目由其功能模糊地定义。

因此，举一个与您的问题无关的示例，如果我们要对一组蘑菇进行分类，并且我们想训练一个模型来了解给定的蘑菇是否有毒或可以安全食用，那么我们可以看看构成蘑菇的一些因素。蘑菇。这些可能是瓶盖尺寸，瓶盖颜色，气味等。或者，我们可以选择一组不同的功能，例如the大小，茎杆大小和茎杆颜色。或者，我们可以使用所有可用的功能（即，我们收集的有关蘑菇的每条数据）。您可以进一步研究此特定示例here。

在某些情况下，我们甚至可能不知道定义我们要分类的对象的功能是什么。我们怎么知道我们应该考虑这套功能还是那套功能？好吧，我们可以采用不同的方法，并训练模型以了解功能是什么。

此方法与此相关。给定一个单词，我们如何知道如何预测该单词的邻居？单词的哪些属性或单词的上下文与我们相关？我们甚至如何了解这些属性是什么？好吧，我们可以建立一个神经网络，其中包含足够多的神经元（300个就可以了！）并训练该网络。这就是我们在这里所做的，我们网络中的节点不一定与您正在使用的单词或语料库的预定义属性相对应。我们不知道相关的特定功能是什么，这就是为什么我们首先使用神经网络的原因之一。我们希望网络为我们做些肮脏的工作，并了解其功能。

我们的最终目标是，给定一个单词，我们将得到与该单词关联的向量。该矢量应解释为第n维空间中的坐标，其中n是我们选择使用的特征量。请注意，要考虑多少个功能，即在我们的网络中要拥有多少个神经元。我们可以使用300个神经元，但是我们可以使用任意数量的神经元，例如3、100甚至1000。

那么……我们为什么首先要这样做？


好吧，首先，如果我们的语料库有10,000个不同的词，那么任何给定的词都将由长度为10,000的向量来描述。不是很有效！
其次，请记住，最后我们希望拥有一些可以用来比较单词的东西。我们想知道是否有两个词（例如，France和Paris）相似，并且如果可能的话，可以衡量它们的相似程度。将所有单词放置在向量空间中非常方便，因为这样，我们就可以测量两个点之间的距离，以找出两个单词之间的相似程度。


说了这么多，让我们举一个例子。假设我们要使用3维空间来表示我们的单词。这意味着我们选择（同样，这是一个选择）具有3个功能。因此，我们希望将语料库中的每个单词映射到3维空间中的一个点。如果我们的语料库中有蝙蝠侠，小丑，蜘蛛侠和塔诺斯之类的话；最后，我们可能会得到如下结果（此示例摘自here）：

‘Batman’    = [0.9, 0.8, 0.2]
‘Joker’     = [0.8, 0.3, 0.1]
‘Spiderman’ = [0.2, .9, 0.8]
‘Thanos’    = [0.3, 0.1, 0.9]

重要的是要了解这些数字可能并不代表任何特定的内容。我们选择使用具有3个功能的模型，但不知道3个功能是什么。我们只是将单词提供给神经网络，然后将这些单词吐出向量，这取决于我们的理解（如果可以的话，可以想象比在具有300个特征的模型中，向量的长度为300因此人类很难看清它们并向他们学习一些东西。

那么，如果我们试图理解所获得的向量该怎么办？第一个特征代表什么？直接引用我上面链接的文章：


  
  第一个特征似乎代表了DC宇宙的归属。请注意，“蝙蝠侠”和“小丑”的第一个功能具有较高的价值，因为它们确实属于DC宇宙。
  也许word2vec表示形式中的第二个元素捕获了英雄/平民特征。因此，“蝙蝠侠”和“蜘蛛侠”的值较高，而“小丑”和“ Thanos”的值较小。
  有人会说词向量的第三个组成部分代表超自然的能力。我们都知道，“蝙蝠侠”和“小丑”没有这样的超能力，这就是为什么它们的向量在第3位的数字很小的原因。