scala - 如何在 Scala 中合并三个 DataFrame

Question

如何在 Spark-Scala 中合并 3 个 DataFrame？我完全不知道如何做到这一点。在 stackOverFlow 上我找不到类似的例子。

我有 3 个类似的 DataFrame。 Column 的名称相同，并且它们的数量相同。差异只是行上的一个值。

数据帧1:

+----+------+----+---+
|type| Model|Name|ID |
+----+------+----+---+
|  1 |wdasd |xyzd|111|
|  1 |wd    |zdfd|112|
|  1 |bdp   |2gfs|113|
+----+------+----+---+

数据帧2:

+----+------+----+---+
|type| Model|Name|ID |
+----+------+----+---+
|  2 |wdasd |xyzd|221|
|  2 |wd    |zdfd|222|
|  2 |bdp   |2gfs|223|
+----+------+----+---+

数据帧3:

+----+------+----+---+
|type| Model|Name|ID |
+----+------+----+---+
|  3 |AAAA  |N_AM|331|
|  3 |BBBB  |NA_M|332|
|  3 |CCCC  |MA_N|333|
+----+------+----+---+

我想要这种类型的 DataFrame

合并数据帧:

+----+------+----+---+
|type| Model|Name|ID |
+----+------+----+---+
|  1 |wdasd |xyzd|111|
|  1 |wd    |zdfd|112|
|  1 |bdp   |2gfs|113|
|  2 |wdasd |xyzd|221|
|  2 |wd    |zdfd|222|
|  2 |bdp   |2gfs|223|
|  3 |AAAA  |N_AM|331|
|  3 |BBBB  |NA_M|332|
|  3 |CCCC  |MA_N|333|
+----+------+----+---+

Answer 1

Spark 提供了一个 union和 unionAll .看起来他们正在弃用 unionAll函数所以我会使用 union功能如下:

dataFrame1.union(dataFrame2).union(dataFrame3)

请注意，为了合并数据框，数据框必须以完全相同的顺序具有完全相同的列名称。

查看 Spark 文档 here