apache-kafka - kafka jdbc 接收器连接器中的批量大小

Question

我想通过 jdbc sink 批量读取 5000 条记录，为此我在 jdbc sink 配置文件中使用了 batch.size:

name=jdbc-sink
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
batch.size=5000
topics=postgres_users

connection.url=jdbc:postgresql://localhost:34771/postgres?user=foo&password=bar
file=test.sink.txt
auto.create=true

但是 batch.size 没有影响，因为当新记录被插入到源数据库中时，记录被插入到数据库中。

如何实现批量插入5000个？

Answer 1

没有直接的解决方案来批量接收记录，但如果可行，我们会尝试调整下面的属性。我从未尝试过，但我对 Kafka Sink Connector 的理解不过是消费者消费来自主题的消息。

ma​​x.poll.records:单次调用 poll() 返回的最大记录数

consumer.fetch.min.bytes:服务器应为获取请求返回的最小数据量。如果可用数据不足，则请求将在回答请求之前等待积累足够多的数据

fetch.wait.max.ms:代理将在向消费者客户端发送响应之前等待这段时间，除非它有足够的数据来填充响应(fetch.message.max .字节)

fetch.min.bytes:代理将等待此数据量填满，然后再将响应发送给消费者客户端。