sql - 如何在 Azure databricks SQL 中将字段值转换为逗号分隔

Question

我正在尝试获取每个 ID 的单个单元格中以逗号分隔的字段值

我在 Azure Databricks (SQL) 上使用，我知道我们可以使用 xml 路径在传统 SQL 上实现此目的..但在 Azure Databricks 中看不到此功能。我们还有其他方法可以达到以下预期结果吗？

示例数据如下

ID  User      Department
1   User1     Admin
2   User1     Accounts
3   User2     Finance
4   User3     Sales
5   User3     Finance

我正在寻找 databricks 上的 SQL 查询，它给出了以下输出

ID  User      Department
1   User1     Admin,Accounts
2   User2     Finance
3   User3     Sales, Finance

select distinct t.[user],
  STUFF((SELECT distinct ', ' + t1.department
         from yourtable t1
         where t.[user] = t1.[user]
            FOR XML PATH(''), TYPE
            ).value('.', 'NVARCHAR(MAX)') 
        ,1,2,'') department
from yourtable t;

我正在寻找适用于 databricks 的类似脚本..

Answer 1

我认为找到了解决方案...它可以使用 Spark 函数之一来实现.. concat_ws(', ',collect_set( col_name )) .. 谢谢