apache-spark - 从嵌套数组和结构 Spark 中提取值

Question

我有一个类似下面的架构。我想知道在 Spark 中选择元素座并驱动然后将其铸成字符串的最佳方法是什么。我在Spark 1.6的数据框中读取此内容。

|-- cars: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- carId: string (nullable = true)
 |    |    |-- carCode: string (nullable = true)
 |    |    |-- carNumber: string (nullable = true)
 |    |    |-- features: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- seat: string (nullable = true)
 |    |    |    |    |-- drive: string (nullable = true)

cars.features的输出作为json中的car_features:

"cars_features":[[{"seat":"Auto","drive":"Manual"}]]

我正在尝试选择“自动”并将其放入数据框列，并选择“手动”并放入另一列。

当前尝试将整个结构返回为:

+-------------------+
|car_features       |
+-------------------+
|  [[Auto,Manual]]  |
+-------------------+

col("car.features").getItem(0).as("car_features_seat")

Answer 1

我不得不钻两次数组:

col("car.features").getItem(0).getItem(0).getItem("seat").cast("String").as("car_features_seat")

这将提取“自动”