python - pyspark上这个函数有什么问题？

Question

我有一个像下面这样的数据框，只有一列和一行，我想创建一个函数，用一些文本替换匹配的字符串。

df2 = pd.DataFrame([['_text1']],columns = ['my_texts'])
spark_df = spark.createDataFrame(df2)

def text_func(df, col):
    return df.withColumn("origin_code", sparkSqlFunctions.when("my_texts".startswith('_text1') == True, 'text_passed')
                         .otherwise("my_texts"))

这个函数不知何故不起作用，并给我一个错误“数据框对象没有属性'text_func'”。

我这样调用它final = Spark_df.withColumn("my_texts", text_func(spark_df, "my_texts"))这可能是错误的。

谁能帮我解决这个问题吗？

Answer 1

在您的函数中，更改

"my_texts".startswith('_text1')

到

sparkSqlFunctions.col("my_texts").startswith('_text1') 

这可能是造成困惑的原因。这个对我有用。

通过此修改，我明确告诉 Spark 第一个 "my_texts" 是一列，而不是字符串。

您还可以从代码中删除==True。