java - 如何在 Java Spark 中将列转置为行

Question

我想将表格中的一些列转置为行。我正在使用 Java 和 Spark 2.1.2。这是我的表格:

+-----+-----+-----+-----+-----+  
|  A  |col_1|col_2|col_3|col_4|   
+-----+-----------------+------+    
|  1  |  0.0|  0.6|  0.8| 0.9|   
|  2  |  0.6|  0.7|  0.7| 1.2|   
|  3  |  0.5|  0.9|  1.8| 9.1|  
|  ...|  ...|  ...|  ...| ...| 

我想要这样的东西:

+-----+--------+-----------+    
|  A  | col_id | col_value |  
+-----+--------+-----------+  
|  1  |   col_1|        0.0|  
|  1  |   col_2|        0.6|     
|  1  |   col_3|        0.8|  
| ... |    ... |        ...|     
|  2  |   col_1|        0.6|  
|  2  |   col_2|        0.7|   
|  ...|     ...|        ...|    
|  3  |   col_1|        0.5|  
|  3  |   col_2|        0.9|  
|  ...|     ...|        ...| and so on 

有人知道我该怎么做吗？我知道 Python 存在解决方案，但我正在尝试使用 Java 来实现。

我尝试过这个方法

 df.selectExpr("stack(4, 'col_1', col_1, 'col_2', col_2', col_3', col_3,'col_4', col_4)as (Key,Value)");

但它不起作用。

编辑:

我能够使用上述方法得到结果。事实证明我使用的是 SparkContext 而不是 SQLContext，它运行得很好。

Answer 1

使用 Spark-scala 的解决方案:

def transpose(spark: SparkSession, df: DataFrame, transposeUsing: Seq[String]): DataFrame = {
import spark.implicits._
val (cols, types) = df.dtypes.filter{ case (c, _) => !transposeUsing.contains(c)}.unzip

val kvdf = explode(array(cols.map(c => struct(lit(c).alias("column_name"),col(c).alias("column_value"))): _*))

val constantCols = transposeUsing.map(col(_))

df.select(constantCols :+ kvdf.alias("_kvdf"): _*)
  .select(constantCols ++ Seq($"_kvdf.column_name", $"_kvdf.column_value"): _*)
}
 //call the function
transpose(df, Seq("A")).show()