python - 将 Pandas 数据框转换为 PySpark 数据框会降低索引

Question

我有一个名为 data_clean 的 Pandas 数据框。它看起来像这样:

我想将它转换为 Spark 数据帧，所以我使用 createDataFrame()方法:sparkDF = spark.createDataFrame(data_clean)

但是，这似乎从原始数据框中删除了索引列(名称为 ali、anthony、bill 等的列)。的输出

sparkDF.printSchema()
sparkDF.show()

是

root
 |-- transcript: string (nullable = true)

+--------------------+
|          transcript|
+--------------------+
|ladies and gentle...|
|thank you thank y...|
| all right thank ...|
|                    |
|this is dave he t...|
|                    |
|   ladies and gen...|
|   ladies and gen...|
|armed with boyish...|
|introfade the mus...|
|wow hey thank you...|
|hello hello how y...|
+--------------------+

文档说 createDataFrame() 可以将 pandas.DataFrame 作为输入。我使用的是 Spark 版本“3.0.1”。

SO上其他与此相关的问题都没有提到这个索引列消失的问题:

• This one about converting Pandas to Pyspark没有提到索引列消失的问题。
• 与this one相同
• 和this one relates to data dropping在转换期间，但更多的是关于窗口函数。

我可能遗漏了一些明显的东西，但是当我从 pandas 数据帧转换为 PySpark 数据帧时，如何保留索引列？

Answer 1

Spark DataFrame 没有索引的概念，所以如果你想保留它，你必须先在 pandas dataframe 中使用 reset_index 将它分配给一个列

您还可以使用 inplace 来避免在停止索引时产生额外的内存开销

df.reset_index(drop=False,inplace=True)

sparkDF = sqlContext.createDataFrame(df)