python - 使用 lower 函数在文本清理中将 pyspark 数据框中单列中的值转换为小写

Question

这个问题已经有答案了:

Pyspark: Convert column to lowercase (4 个回答)

已关闭 4 年前。

尝试使用 .lower 函数将 pyspark 数据帧单列中的值转换为小写以进行文本清理

import pyspark.sql.functions as f
f.lower(f.col(col("subject")).show()

获取:

SyntaxError: unexpected EOF while parsing

Answer 1

你的问题是括号，而且你只需要使用 f.col() 一次。

import pyspark.sql.functions as f
f.lower(f.col("subject")).show()

您需要将其分配给您的数据框:

import pyspark.sql.functions as f
df = df.withColumn("subject",f.lower(f.col("subject")))
df.show()