gpt4 book ai didi

apache-spark - 相当于 Scala Dataset#transform 方法的 Pyspark 变换方法

转载 作者:行者123 更新时间:2023-12-03 14:04:02 30 4
gpt4 key购买 nike

Spark Scala API 有一个 Dataset#transform可以轻松链接自定义 DataFrame 转换的方法,如下所示:

val weirdDf = df
.transform(myFirstCustomTransformation)
.transform(anotherCustomTransformation)
我没有看到等效的 transform pyspark in the documentation 的方法.
是否有 PySpark 方式来链接自定义转换?
如果没有,怎么能 pyspark.sql.DataFrame类被猴子修补添加一个 transform方法?
更新
变换方法是 added to PySpark截至 PySpark 3.0 .

最佳答案

执行:

from pyspark.sql.dataframe import DataFrame

def transform(self, f):
return f(self)

DataFrame.transform = transform

用法:
spark.range(1).transform(lambda df: df.selectExpr("id * 2"))

关于apache-spark - 相当于 Scala Dataset#transform 方法的 Pyspark 变换方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46247315/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com