apache-kafka - 使用 REST 代理仅从主题中读取一条消息

Question

我通过 Rest Proxy(在 Docker 容器中)使用 Kafka 版本 2.2.0cp2。我需要消费者始终只阅读一条消息。

我设置了值 max.poll.records=1在文件中 /etc/kafka/consumer.properties如下:
consumer.max.poll.records=1或者:
max.poll.records=1
它没有效果。

在其他配置中设置此值也没有给出任何结果。

Answer 1

所以consumer.properties不是从 REST 代理读取的

假设消费者属性可以更改，kafka-rest容器 env-var 将是 KAFKA_REST_CONSUMER_MAX_POLL_RECORDS ，但该设置仅控制代理服务器的内部轮询循环，而不是返回给 HTTP 客户端的数据量...

必须有一个 limit提供给 API 的标志，该标志不存在 - https://docs.confluent.io/current/kafka-rest/api.html#get--consumers-(string-group_name)-instances-(string-instance)-records