java - 如何将具有值的列添加到 Spark Java 中的新数据集？

Question

因此，我正在从 java Spark API 创建一些数据集。这些数据集是使用 spark.sql() 方法从配置单元表填充的。

因此，在执行了一些 sql 操作(如连接)之后，我得到了最终的数据集。我想要做的是，我想向最终数据集添加一个新列，数据集中所有行的值为“1”。因此，您可能会将其视为向数据集添加约束。

所以，例如我有这个数据集:

Dataset<Row> final = otherDataset.select(otherDataset.col("colA"), otherDataSet.col("colB"));

我想向“最终”数据集添加一个新列，如下所示

final.addNewColumn("colName", 1); //I know this doesn't work, but just to give you an idea.

是否有可行的方法将新列添加到值为 1 的数据集的所有行？

Answer 1

如果你想添加一个常量值那么你可以使用lit功能

lit(Object literal)
Creates a Column of literal value.

此外，将变量名 final 更改为其他名称

Dataset<Row> final12 = otherDataset.select(otherDataset.col("colA"), otherDataSet.col("colB"));


Dataset<Row> result = final12.withColumn("columnName", lit(1)) 

希望这对您有所帮助!