neural-network - 有没有办法调用 Spark ML MultilayerPerceptronClassificationModel 的 'predict' 方法？

Question

对于 DecisionTreeModel 等较旧的 ML 模型，可以加载存储的模型并将其直接应用于单个数据点(特征向量)，如下所示:

val features: Vector = <some vector of floats representing feature values> 
val modelDT = DecisionTreeModel.load(sparkContext, <"some-path">)
val prediction = modelDT.predict(features)

对于 MultilayerPerceptronClassificationModel，predict 方法受到保护，无法调用。这些特征需要包装在一个数据集中，结果以一行数据帧的形式返回。这对于一次分类一个点的实时系统来说很麻烦并且增加了很多开销。

Answer 1

因此，如果您像这样加载模型:

model = MultilayerPerceptronClassificationModel.load("Path.model")

或您之前训练过的。

然后将您的输入数据放入此表单中，而没有已知标签

test = spark.sparkContext.parallelize([Row(features=Vectors.sparse(4, {1: 1.0, 2: 0.0, 3: -1.0, 4: 1.0}))]).toDF()

result = model.transform(test).head().prediction

print(result)

您还可以执行 Vectors.dense 或其他稀疏声明

您需要导入一些东西，例如:

from pyspark.ml.linalg import Vectors
from pyspark.ml.classification import MultilayerPerceptronClassifier, MultilayerPerceptronClassificationModel
from pyspark.sql import Row