java - 如何为给定列添加行和值？

Question

所以我现在有以下 DataFrame，具有以下值:

Dataset<Row> ds = sparkSession.read().text(pathFile);
+-------+--------+
| VALUE |  TIME  |
+-------+--------+
| 5000  |        |
+-------+--------+

其中 TIME 没有值(或为 null)。如何向 TIME 列添加值？稍后我将在我的程序中添加更多行，并且我需要为 VALUE 和 TIME 列添加/附加值。我怎样才能做到这一点？

Answer 1

How can I add a value to the TIME column?

和

TIME doesn't have a value (or is null)

让我相信您可能想探索 na运算符。

na: DataFrameNaFunctions Returns a DataFrameNaFunctions for working with missing data.

这反过来又给你提供了fill的方法缺失值。

fill(value: String, cols: Array[String]): DataFrame Returns a new DataFrame that replaces null values in specified string columns. If a specified column is not a string column, it is ignored.

如果你只是想替换，你应该使用 withColumn运算符。

withColumn(colName: String, col: Column): DataFrame Returns a new Dataset by adding a column or replacing the existing column that has the same name.

作为 col 的值，您可以使用 lit功能。

lit(literal: Any): Column Creates a Column of literal value.

另一个要求是......

be adding more rows as well

那就是 union运算符。

union(other: Dataset[T]): Dataset[T] Returns a new Dataset containing union of rows in this Dataset and another Dataset. This is equivalent to UNION ALL in SQL.