apache-kafka - KSQL创建具有多列聚合的表

Question

所以本质上我想按两列进行分组，如下所示:

CREATE TABLE foo AS
SELECT a, b, SUM(a)
FROM whatever
GROUP BY a, b

whatever 是 Kafka 格式的流。当我发出命令时，ksql 返回:

Key format does not support schema.
format: KAFKA
schema: Persistence{columns=[`a` STRING KEY, `b` STRING KEY], features=[]}
reason: The 'KAFKA' format only supports a single field. Got: [`a` STRING KEY, `b` STRING KEY]
Caused by: The 'KAFKA' format only supports a single field. Got: [`DEVICE`
    a KEY, `b` STRING KEY] 

问题是Kafka格式不支持多列键。有没有办法解决这个问题，例如。 G。在此表中创建人工键？我没能做到这一点。

我看到有人发布了类似的问题，答案似乎有效。我认为这是因为格式的原因。 https://stackoverflow.com/a/50193239/9632703

文档提到多列聚合可能不起作用，但也说 ksql 做了一个后台解决方法以使其起作用。不幸的是 ksql 只返回给定的错误消息。 https://www.confluent.de/blog/ksqldb-0-10-updates-key-columns/#multi-column-aggregations

有趣的是，省略第一行CREATE TABLE foo AS就可以了。因此，如果有一些数据进来，聚合就会起作用。但这当然不是持久的。如果没有其他办法，我也可以在 ksql 中使用没有定义主键的表，因为我仍然可以在应用程序中使用 {a, b} 标识数据。

有人可以帮助我吗？谢谢。

Answer 1

如果您升级到 ksqlDB 0.15，则可以执行此操作。此版本introduced multi-key support 。您需要使用支持它的 KEY_FORMAT。

ksql> CREATE TABLE FOO AS SELECT A, B, SUM(C) FROM TEST_STREAM GROUP BY A,B;

 Message
-----------------------------------
 Created query with ID CTAS_FOO_53
-----------------------------------
ksql> DESCRIBE FOO;

Name                 : FOO
 Field      | Type
---------------------------------------------
 A          | BIGINT           (primary key)
 B          | VARCHAR(STRING)  (primary key)
 KSQL_COL_0 | DOUBLE
---------------------------------------------
For runtime statistics and query details run: DESCRIBE EXTENDED <Stream,Table>;

ksql> SELECT * FROM FOO EMIT CHANGES LIMIT 5;
+---------------------------+---------------------------+---------------------------+
|A                          |B                          |KSQL_COL_0                 |
+---------------------------+---------------------------+---------------------------+
|220071000                  |AIS                        |0.4                        |
|257838000                  |AIS                        |6.2                        |
|538007854                  |AIS                        |22.700000000000003         |
|257487000                  |AIS                        |2.4                        |
|257601800                  |AIS                        |5.8999999999999995         |
Limit Reached
Query terminated