apache-kafka - 如何让ksql只打印最新的记录

Question

我在 ksql 上运行以下查询。但我只想要 最后 20 记录。

SELECT MAX(ROWTIME),TIMESTAMPTOSTRING(ROWTIME, 'yyyy-MM-dd HH:mm:ss'),SERIAL,COUNT FROM MY_STREAM WHERE TIMESTAMPTOSTRING(ROWTIME, 'yyyy-MM-dd HH:mm:ss') >= DATE AND TIMESTAMPTOSTRING(ROWTIME, 'yyyy-MM-dd HH:mm:ss') <= DATE2 GROUP BY SERIAL,COUNT LIMIT 20;

Answer 1

您目前无法在 KSQL 中执行此操作。由于 KSQL 正在处理无限数据，“最后”记录没有多大意义，因为数据(可能)总是到达。

根据您尝试执行的操作，您可以使用 ROWTIME 谓词根据时间范围过滤数据。

您可能需要使用 Kafka Streams 来访问您描述的模式中的数据。

您可能还想检查现有问题以在此处进行投票:https://github.com/confluentinc/ksql/issues/如果没有，创建一个 https://github.com/confluentinc/ksql/issues/new