python - 如何将 Python 列表添加到 Spark DataFrame？

Question

我有一个 10000*1 的 Python 列表。我想将它添加到 Spark DataFrame，以便 DataFrame 包含 10000 行。我该怎么做？

Answer 1

首先，从列表创建数据框:

new_df = spark.createDataFrame([(value,) for value in list], ['id'])

然后联合两个数据帧:

base.union(new_df).show()

请记住，两个数据框中的列名和类型必须相同。