gpt4 book ai didi

python - Spark withColumn() 执行幂函数

转载 作者:太空狗 更新时间:2023-10-30 00:44:11 25 4
gpt4 key购买 nike

我有一个包含列“col1”和“col2”的数据框 df。我想创建第三列,它使用其中一列作为指数函数。

df = df.withColumn("col3", 100**(df("col1")))*df("col2")

但是,这总是导致:

TypeError: unsupported operand type(s) for ** or pow(): 'float' and 'Column'

我知道这是由于函数将 df("col1") 作为“列”而不是该行的项目。

如果我执行

results = df.map(lambda x : 100**(df("col2"))*df("col2"))

这可行,但我无法附加到我的原始数据框。

有什么想法吗?

这是我第一次发帖,对于格式问题,我深表歉意。

最佳答案

从 Spark 1.4 开始,您可以使用 pow 函数,如下所示:

from pyspark.sql import Row
from pyspark.sql.functions import pow, col

row = Row("col1", "col2")
df = sc.parallelize([row(1, 2), row(2, 3), row(3, 3)]).toDF()

df.select("*", pow(col("col1"), col("col2")).alias("pow")).show()

## +----+----+----+
## |col1|col2| pow|
## +----+----+----+
## | 1| 2| 1.0|
## | 2| 3| 8.0|
## | 3| 3|27.0|
## +----+----+----+

如果您使用旧版本,Python UDF 应该可以解决问题:

import math
from pyspark.sql.functions import udf
from pyspark.sql.types import DoubleType

my_pow = udf(lambda x, y: math.pow(x, y), DoubleType())

关于python - Spark withColumn() 执行幂函数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33271558/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com