json - Postgresql JSONB 数据上的 Spark SQL

Question

当前的 Postgresql 版本 (9.4) 支持 json 和 jsonb 数据类型，如 http://www.postgresql.org/docs/9.4/static/datatype-json.html 中所述。

例如，存储为jsonb的JSON数据可以通过SQL查询查询:

SELECT jdoc->'guid', jdoc->'name'
FROM api 
WHERE jdoc @> '{"company": "Magnafone"}';

作为 Sparker 用户，是否可以通过 JDBC 将此查询发送到 Postgresql 并以 DataFrame 形式接收结果？

到目前为止我尝试了什么:

val url = "jdbc:postgresql://localhost:5432/mydb?user=foo&password=bar"
val df = sqlContext.load("jdbc",
  Map("url"->url,"dbtable"->"mydb", "driver"->"org.postgresql.Driver"))
df.registerTempTable("table")
sqlContext.sql("SELECT data->'myid' FROM table")

但是 sqlContext.sql() 无法理解 SQL 中的 data->'myid' 部分。

Answer 1

无法从 Spark DataFrame API 动态查询 json/jsonb 字段。一旦数据被提取到 Spark，它就会被转换为字符串并且不再是可查询的结构(参见:SPARK-7869)。

正如您已经发现的那样，您可以使用 dbtable/table 参数将子查询直接传递给源，并使用它来提取感兴趣的字段。几乎相同的规则适用于任何非标准类型、调用存储过程或任何其他扩展。