python - 如何在 pyspark 中将 Dataframe 转换为 RDD？

Question

这个问题已经有答案了:

Attribute Error :split on spark sql python using lambda (2 个回答)

已关闭 5 年前。

我需要将数据帧转换为RDD，并需要对其应用一些核心操作。尝试了以下事情。它正在转换为列表、行或元组格式。但一些核心功能或无法使用 .split() 等功能。

尝试了以下方法:

df.rdd.map(list)

或

df.rdd.map(tuple)

或

df.rdd

我正在尝试的示例代码

rdd=load_df.rdd.map(list)
conv_rdd= rdd.map(lambda x:x.split(","))

需要从这里开始执行一些操作

Answer 1

数据框是 Row 的数据集对象。当您运行df.rdd时，返回值的类型为RDD<Row> 。

现在，Row没有.split方法。您可能想在行的某个字段上运行它。所以你需要打电话

df.rdd.map(lambda x:x.stringFieldName.split(","))

Split 必须在行的值上运行，而不是 Row对象本身。