apache-spark - Spark MLlib word2vec中的无穷向量

Question

我有一个关于运行Spark MLlib的word2vec的问题。
我以词汇量〜2.4M和语料库大小〜1.4B运行它。
为某些单词获得+-无穷大向量的原因是什么？
当我增加迭代次数时就会发生这种情况，也就是说，经过10次迭代，我得到了一个合理的模型，
经过20次迭代，我得到了一些形式为[Infinity，-Infinity，Infinity，-Infinity，...]的向量。提前致谢。

Answer 1

您可以对每个向量元素执行以下操作:

  def input_data(data_input:Double):Double =  {
  var result = data_input
  if (data_input.isInfinity || data_input.isNaN){
    result =0
  }
  result
}