apache-spark - 星火 ML : Taking square root of feature columns

Question

您好，我正在使用自定义 UDF 对每列中的每个值求平方根。

square_root_UDF = udf(lambda x: math.sqrt(x), DoubleType())

for x in features:
  dataTraining = dataTraining.withColumn(x, square_root_UDF(x))

有没有更快的方法来完成它？多项式展开函数不适用于这种情况。

Answer 1

不要使用 UDF。而是使用内置的:

from pyspark.sql.functions import sqrt

for x in features:
    dataTraining = dataTraining.withColumn(x, sqrt(x))