gpt4 book ai didi

apache-spark-sql - 如何使用 scala API 在 spark sql 中写入大于 1 的特定列的计数

转载 作者:行者123 更新时间:2023-12-01 12:28:23 24 4
gpt4 key购买 nike

我有以下 SQL 查询:

SELECT SECTOR, COUNT(REGION) FROM SAMPLE_TABLE GROUP BY SECTOR HAVING COUNT(REGION) > 1

我想使用 Spark SQL 的 DataFrame API 将其转换为 Spark。我该怎么做?

最佳答案

也许这可行:

val df = sqlContext.table("SAMPLE_TABLE")
val newDF = df
.groupBy("sector")
.agg(count("region").as("cnt"))
.where($"cnt" > 1)

有关更多信息,您可以查看 DataFrame API docsfunctions package documentation

关于apache-spark-sql - 如何使用 scala API 在 spark sql 中写入大于 1 的特定列的计数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37136030/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com