apache-kafka - KSQL Kafka 键格式化

Question

我的一个主题有一个 string-json 作为键 - {"city":"X","id":22}。在我的 ksql 语句中，我想将它提取到 2 个不同的字段而不是一个，这样我以后可以过滤和加入。在文档中，它似乎只允许我将整个字符串粘贴到 key 中，而不是允许将其格式化为 JSON(就像 FORMAT_VALUE)，请参见下文...对此有什么优雅的解决方案的建议吗？

VALUE_FORMAT(必需)指定主题中消息值的序列化格式。支持的格式:JSON、DELIMITED 和 AVRO

KEY 将 Kafka 主题中的消息键与 KSQL 流中的列相关联。

Answer 1

您应该能够在 ROWKEY 列上使用 EXTRACTJSONFIELD UDF 来执行此操作。 ROWKEY 列是架构中的一个“列”，其中包含给定行的键。 EXTRACTJSONFIELD UDF 允许您从包含 json 字符串的列中提取字段。因此，对于您的示例，您可以运行:

SELECT EXTRACTJSONFIELD(ROWKEY, '$.city') AS city, EXTRACTJSONFIELD(ROWKEY, '$.id') AS id FROM FOO;