machine-learning - pyspark中的对数损失函数

Question

pyspark中有内置的日志丢失函数吗？

我有一个包含列的 pyspark 数据框:概率、原始预测、标签

我想使用平均对数损失来评估这些预测。

Answer 1

据我所知，没有直接存在这样的函数。但是，给定一个 PySpark 数据帧 df ，其列的名称如问题中所示，可以显式计算平均对数损失:

import pyspark.sql.functions as f

df = (
    df.withColumn(
        'logloss'
        , -f.col('label')*f.log(f.col('probability')) - (1.-f.col('label'))*f.log(1.-f.col('probability'))
    )
)

logloss = df.agg(f.mean('logloss').alias('ll')).collect()[0]['ll']

我在这里假设label是数字(即0或1)，并且概率代表模型的预测。 (不确定 rawPrediction 可能意味着什么。)