apache-spark-mllib - 如何使用 Spark Mlib 多层感知器权重数组

Question

我有一个要求，我需要找到 ANN 实现中使用的属性的相对重要性。我使用 spark MLib 库 MultiLayerPerceptron 来实现。该模型给了我一个向量，它是一个权重数组。我知道有一些算法可以从 weights 中推导出相对重要性，但是 MLib 实现给出了一个大的单维数组，并且没有说明与每个输入对应的权重的任何信息。有人知道如何获得每个输入节点对应的权重吗？

Answer 1

model使用 Breeze 将权重矩阵展平操作:toDenseVector . (注意这一行:val brzWeights: BV[Double] = weightsOld.asBreeze.toDenseVector)

这种操纵acts like numpy 's flatten() .
因此，要检索权重矩阵，您必须做两件事:

根据您的图层将权重向量拆分为多个部分。你要带(layerSize + 1) * nextLayerSize每个非最终层的权重(+1，因为存在偏差)。

对于每个展平的权重矩阵，应用 numpy的 reshape带参数 (layerSize + 1, nextLayerSize) .

当您从权重得出相对重要性时，请注意 pyspark implementation 中的，偏差表示为最后一个特征: .

因此，每个权重矩阵中的最后一行代表偏差值。