apache-spark - Spark : select with key in map

Question

我需要用键选择 geo.cc在 map在 DataFrame :

 |-- params: map (nullable = true)
 |    |-- key: string
 |    |-- value: string (valueContainsNull = true)

但是键的值，中间有一个点，似乎混淆了 Spark。如果我写:

X.filter(X("params.geo.cc") === "us")

我收到错误:

org.apache.spark.sql.AnalysisException: Can't extract value from params#3[geo];

我能做什么？ (不用说，我不控制 key ，即我不能将 geo.cc 字符串更改为例如 geo_cc 。

Answer 1

尝试这个 :

X.filter(col("params")("key") === "geo.cc" && col("params")("value") === "us")