gpt4 book ai didi

apache-spark - 在 Spark SQL 中按多列进行分区

转载 作者:行者123 更新时间:2023-12-04 05:17:06 24 4
gpt4 key购买 nike

使用 Spark SQL 的窗口函数,我需要按多列分区来运行我的数据查询,如下所示:
val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100, 0)
我目前没有测试环境(正在对此进行设置),但作为一个快速问题,目前是否支持将其作为 Spark SQL 窗口函数的一部分,或者这将不起作用?

最佳答案

这行不通。第二个partitionBy将覆盖第一个。必须在同一个调用中指定两个分区列:

val w = Window.partitionBy($"a", $"b").rangeBetween(-100, 0)

关于apache-spark - 在 Spark SQL 中按多列进行分区,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37795488/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com