apache-kafka - 如何配置Apache Kafka在指定时间发送数据？

Question

让我们考虑以下工作 Apache Kafka 的抽象模式:

Poducers ->(Send messages) -> Apache Kafka -> (Resend to customers) -> Customers 

可以配置Kafka在指定的时间给客户发送消息吗？

第二个问题，客户回滚到Kafka的消息是真实的吗？

Answer 1

如果我明白了，您想在特定时间点向客户发送数据。如果使用 Lenses对于 Apache Kafka，它可以简单到

#cron the following to execute daily at 24:00
curl -XGET http://lenses-host:port/api/sql/data?sql=SELECT * from topicA WHERE customer = 'customerA WHERE _ts > 'yyyy-mm-dd hh:mm:ss'' > customerA.json
send info@customerA.com customerA.json


因此，要回答问题的第一部分，您需要构建您的消费者逻辑。 Kafka 不支持回滚，尽管您可以轻松地执行以下操作:

INSERT INTO topicB SELECT * from topicA WHERE _ts < '2017-12-10 00:00:00'

因此您可以轻松地从另一个主题创建一个新主题，但没有回滚语义。