python - 将 Scala 中的列表转换为 Python 列表或数据帧

Question

我在 Scala 中有一个名为 dataList 的二维列表，我想将其转换为 Pandas DataFrame。

val dataList: List[List[Int]] = tempData.toList

如果我想打印dataList，一切正常，Python中的对象类型是

<class 'py4j.java_gateway.JavaObject'>

据我所知，我必须使用 py4j 才能访问 Python 中的集合。但是，我认为我必须使用嵌套循环来访问 dataList 的每个元素，然后放入一个 DataFrame。有没有更聪明的方法可以直接将其转换为 DataFrame 或 python 列表，然后再转换为 DataFrame？

我正在使用 Zeppelin 0.5.5

Answer 1

如果您先将 Scala 列表转换为 Java 列表(使用转换器)，PySpark 应该能够自动将其转换为 Python 列表。

在 Scala 单元格中:

import scala.collection.JavaConverters._

// Sample of what I assume your "dataList" looks like
val dataList: List[List[Int]] = List(List(1,2,3),List(4,5,6))
// Convert to java.util.List
val javaDataList: java.util.List[java.util.List[Int]] =
  dataList.map(_.asJava).asJava
// Place in Zeppelin context for %pyspark cell access
z.put("dataList", javaDataList)

在 Python 的单独单元格中:

%pyspark
# Read from Zeppelin context
dataList = z.get("dataList")
print dataList

您也可以想象先将 Scala 列表转换为 (Spark) DataFrame，然后将其交给 Python，然后调用“toPandas()”来获取 Pandas DataFrame。不过我不推荐这样做，因为您只是将数据并行化，然后再次取消并行化(当您调用 toPandas() 时)。