python - 如何在pyspark中将DenseMatrix转换为spark DataFrame？

Question

除了下面使用 Scala 的示例之外，我没有找到任何将矩阵转换为 Spark 数据帧的 pyspark 代码。有谁知道如何使用 python 代替吗？

How to convert a mllib matrix to a spark dataframe?

Answer 1

我们可以使用toArray()方法将DenseMatrix转换为numpy ndarray，并使用tolist()方法将数组转换为列表。

>>> m = DenseMatrix(2, 2, range(4))
>>> m
DenseMatrix(2, 2, [0.0, 1.0, 2.0, 3.0], False)
>>> rows = m.toArray().tolist()
>>> rows
[[0.0, 2.0], [1.0, 3.0]]
>>> df = spark.createDataFrame(rows,['col1','col2'])
>>> df.show()
+----+----+
|col1|col2|
+----+----+
| 0.0| 2.0|
| 1.0| 3.0|
+----+----+