apache-kafka - 我们是否可以选择从特定时间段/时间戳获取 KSQL 流中的数据

Question

我知道，在 KSQL 中我们可以将偏移量设置为最早或最新但我们能否从特定时间段获取数据，即我需要从 2020 年 5 月 6 日开始将数据插入主题？

Answer 1

在 ksqlDB 中，您可以从主题的开头(SET 'auto.offset.reset' = 'earliest';)或主题的结尾(SET 'auto.offset.reset' = '最新';).

您目前 (0.8.1/CP 5.5) 无法寻找任意偏移量。

您可以做的是从最早的偏移量开始，然后在您的谓词中使用ROWTIME 来识别符合您要求的消息。

SELECT * 
  FROM MY_SOURCE_STREAM 
WHERE  ROWTIME>=1588772149620

请注意，这会按顺序扫描，因此根据您主题中的数据量，扫描速度可能不会特别快。