apache-spark - 如何检查spark sql映射类型中是否存在键

Question

所以我有一个包含一列 map 类型的表(键和值都是字符串)。

我想像这样编写 spark sql 来检查 map 中是否存在给定的键。

select count(*) from my_table where map_contains_key(map_column, "testKey")

我找不到任何可以执行此操作的现有 spark sql 函数。

有任何想法吗？

谢谢

Answer 1

可以使用这样的构造:

df.where($"map_column"("testKey").isNotNull)

对于纯 sql:

spark.sql("select * from my_table where mapColumn[\"testKey\"] is not null")