arrays - 使用一系列数字范围创建新列

Question

所以我需要创建一个从 1 到 100 枚举的数字数组，作为每行的值作为一个额外的列。

使用 array()带有一堆文字值的函数可以工作，但肯定有一种方法可以使用/转换 Scala Range(a to b)而不是单独列出每个数字？

spark.sql("SELECT key FROM schema.table")
  .otherCommands
  .withColumn("range", array(lit(1), lit(2), ..., lit(100)))

类似于:

withColumn("range", array(1 to 100))

Answer 1

您可以使用 map函数使用 lit内置函数 array作为

df.withColumn("range", array((1 to 100).map(lit(_)): _*))