apache-kafka - 如何处理kafka KStream并直接写入数据库而不是向其发送另一个主题

Question

我不想把经过处理的KStream写到另一个主题，我想直接把丰富的KStream写到数据库中。我应该如何进行？

Answer 1

您可以实现自定义 Processor打开一个数据库连接并通过 KStream#process() 应用它.参见https://docs.confluent.io/current/streams/developer-guide/dsl-api.html#applying-processors-and-transformers-processor-api-integration

请注意，您需要同步写入您的数据库以防止数据丢失。

因此，不写回主题有多个缺点:

由于同步写入而降低吞吐量

您不能使用恰好一次语义

将您的应用程序与数据库耦合(如果 DB 出现故障，您的应用程序也会出现故障，因为它无法再写入结果)

因此，建议将结果写回主题并使用 Connect API 将数据导入数据库。