- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我需要在表服务中转换列服务名称,然后合并值。
services:
userid servicename
1 A
2 B
2 C
3 B
1 C
4
5 C
我正在尝试的查询是
SELECT userid,
COALESCE(a,b,c) AS servicename
FROM (SELECT userid,
concat_ws('',a) AS a,
concat_ws('',b) AS b,
concat_ws('',c) AS c
FROM (SELECT userid,
collect_list(a.group_map['A']) AS a,
collect_list(a.group_map['B']) AS b,
collect_list(a.group_map['C']) AS c
FROM (SELECT userid,
MAP(servicename,servicename) AS group_map
FROM (SELECT userid, servicename, servicename FROM services) AS table1) AS table2) AS table3) AS table4
下面是每个 SELECT
查询及其结果的分割:
查询 1:
SELECT userid,
servicename,
servicename
FROM services
结果 1:
userid servicename servicename
1 A A
2 B B
2 C C
3 B B
1 C C
4
5 C C
查询 2:
SELECT userid,
MAP(servicename,servicename) AS group_map
FROM table1
结果 2:
userid group_map
1 {"A":"A"}
2 {"B":"B"}
2 {"C":"C"}
3 {"B":"B"}
1 {"C":"C"}
4 {"null":"null"}
5 {"C":"C"}
查询 3:
SELECT userid,
collect_list(a.group_map['A']) AS a,
collect_list(a.group_map['B']) AS b,
collect_list(a.group_map['C']) AS c
FROM table2
结果 3:
userid a b c
1 ["A"] ["C"]
2 ["B"] ["C"]
3 ["B"]
4
5 ["C"]
下面的concat_ws函数是将array转String
查询 4:
SELECT userid,
concat_ws('',a) AS a,
concat_ws('',b) AS b,
concat_ws('',c) AS c
FROM table3
结果 4:
userid a b c
1 A C
2 B C
3 B
4
5 C
最后在查询中使用 COALESCE 函数得到如下结果:
查询 5
SELECT userid,
COALESCE(a,b,c) AS servicename
FROM table4
下面是我希望看到的结果
结果 5:
userid servicename
1 A
2 B
3 B
4
5 C
但是,我只得到 Service A
或 null,如下所示:
userid servicename
1 A
2
3
4
5
有人怀疑有什么问题吗?是否需要类型转换?
我一直在尝试不同的东西,也尝试在网络上搜索,但还没有成功。
提前致谢!
最佳答案
看起来您只需要每个 ID 的 1 个服务名称
select * from
(
select userid,servicename,row_number() over (partition by userid order by servicename) as row_no
) res
where res.row_no = 1
这应该让你
userid servicename
1 A
2 B
3 B
4
5 C
如果您尝试为每个用户 ID 转换服务名称
select userid, collect_set(servicename)
from table
group by userid;
这应该让你
userid servicename
1 A,C
2 B,C
3 B
4
5 C
关于mysql - 执行 concat_ws 和 collect_list 后,Hive Coalesce 函数未返回预期结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46982627/
想象一下,我有以下 DataFrame df: +---+-----------+------------+ | id|featureName|featureValue| +---+---------
我正在尝试使用对现有列集的 groupby 聚合在 Pyspark 中创建一个新的列表列。下面提供了一个示例输入数据框: ------------------------ id | date
这看起来确实像一个错误,但我找不到原因,也找不到互联网上的任何信息 发生了什么:我有一些 java 代码,在 groupBy 之后的 agg 方法中使用 collect_list(struct(...
说我的表是这样的: Name,Subject,Score Jon,English,80 Amy,Geography,70 Matt,English,90 Jon,Math,100 Jon,Histor
每当我在Hive上运行函数“collect_list”时,它总是会引发错误: Query ID = xxxxx Total jobs = 1 Launching Job 1 out of 1 Fail
我有以下格式的数据框: name merged key1 (internalKey1, value1) key1 (internalKey2, value2) ... k
根据帖子,Hive 0.12 - Collect_list ,我试图找到 Java 代码来实现一个 UDAF,它将完成这个或类似的功能,但没有重复序列。 例如,collect_all() 返回一个序列
This page说到 collect_list: Returns a list of objects with duplicates. 那个 list 是有序的吗?比如查询结果的顺序? 最佳答案 正
根据接受的答案 在 pyspark collect_set or collect_list with groupby ,当你做 collect_list在某列上,null此列中的值被删除。我已经检查过
我有一个 pyspark 2.0.1。我正在尝试对我的数据框进行分组并从我的数据框中检索所有字段的值。我发现 z=data1.groupby('country').agg(F.collect_list
我有一张这样的 table : Clients City Timestamp 1 NY 0 1 WDC 10 1 NY
假设我有一个看起来像这样的 hive 表: ID event order_num ------------------------ A red 2 A
我有以下数据框 data : root |-- userId: string |-- product: string |-- rating: double 以及以下查询: val result
这个问题在这里已经有了答案: How to filter based on array value in PySpark? (2 个回答) 3年前关闭。 我正在处理一个数据框 df ,例如以下数据框:
我在 Hive 中使用以下命令。并得到正确的结果。 select acct_id,collect_list(expr_dt) from experiences > group by acct_
一系列 UNION ALL 生成我想用来构建 MAP 的键值对列表。 所需的功能是这样的: select id1, id2, map(collect_list(col)) as measurement
我正在尝试收集包含 NULL 的列以及该列中的一些值...但是 collect_list 忽略了 NULL并仅收集其中具有值(value)的那些。有没有一种方法可以检索 NULL 以及其他值? SEL
我是数据砖 Spark SQL 的新手。我正在寻找嵌套的 collect_list 并试图找出答案。 下面是我的 spark 实际 sql 查询 select policy.C
假设我们有虹膜数据框: import pandas as pd df = pd.read_csv('https://raw.githubusercontent.com/uiuc-cse/data-fa
我目前正在使用 PySpark 并在包含大约 6 亿条记录的表上运行查询。该表本身约为 300gb。我的查询看起来像这样: select f1, collect_list(struct(f2, f3)
我是一名优秀的程序员,十分优秀!