machine-learning - 主题和潜在狄利克雷分配

Question

潜在狄利克雷分配(LDA)是一种生成模型，可生成主题列表。每个主题都由单词的分布来表示。假设每个主题都由其前 40 个单词表示。

给定一个新文档，我如何确定该新文档由哪些主题组成，而无需再次重新运行 lda。换句话说，我如何使用估计的主题来推断新的未见过文档的主题。

更新:

为了进行估计，我们执行以下操作(为了简单起见，我忽略了超参数)

for(int iter=0;iter<1000;iter++){
  for(int token=0;token<numTokens;token++){
     double[] values=new double[numTopics];
     double pz=0.0d;
    for(int topic=0;topic<numTopics;topic++){
         probabilityOfWordGivenTopic= topicCount[topic][word[token]] / numTokenInTopic[topic];
         probabilityOfTopicGivenDocument= docCount[doc[token]][topic] / docLength[doc[token]];
         pz= probabilityOfWordGivenTopic * probabilityOfTopicGivenDocument;
         values[topic]=pz;
         total+=pz;
   }
 }
}

谢谢。

Answer 1

在推理步骤中，您基本上需要将主题分配给新文档的单词。

对于看到的单词，使用您的估计模型来分配概率。以您的示例为例，由于您有 40 个主题，因此您在 LDA 估计期间已经了解了单词主题分布(phi 矩阵)。现在，对于训练期间看到的单词 w，取该矩阵的第 w 列向量，其大小为 40。该向量为您提供单词 w 进入每个主题的类成员概率。例如，该向量为 (.02, .01, .... .004)，这意味着 P(w|t_1)=.02，依此类推。

在新文档中，无论您在哪里看到这个单词 w，都从这个分布中抽取一个样本并为其分配一个主题。显然，这个词 w 更有可能被分配到从估计过程中学习到的真实(从技术上讲，估计的)主题类。

对于 OOV 单词(即您在训练过程中没有见过的单词)，一种常见的做法是使用均匀分布，即在您的示例中使用 1/40 的概率为其分配主题。

编辑

从 JGibbsLDA 中提取的代码片段如下:

        for (int m = 0; m < newModel.M; ++m){
            for (int n = 0; n < newModel.data.docs[m].length; n++){
                // (newz_i = newz[m][n]
                // sample from p(z_i|z_-1,w)
                int topic = infSampling(m, n);
                newModel.z[m].set(n, topic);
            }
        }//end foreach new doc

推理采样的主要步骤是分配单词 w 的概率。请注意，此概率部分取决于估计的模型概率(代码的 trnModel.nw[w][k])，部分取决于新的分配概率(newModel.nw[_w][k])。对于 OOV 词，trnModel.nw[w][k] 设置为 1/K。该概率不取决于 P(w|d)。相反，P(w|d) 只是通过吉布斯采样完成主题分配后计算的后验概率。

    // do multinomial sampling via cummulative method
    for (int k = 0; k < newModel.K; k++){
        newModel.p[k] = (trnModel.nw[w][k] + newModel.nw[_w][k] + newModel.beta)/(trnModel.nwsum[k] +  newModel.nwsum[k] + Vbeta) *
                (newModel.nd[m][k] + newModel.alpha)/(newModel.ndsum[m] + Kalpha);
    }