elasticsearch - 重新启动任务后，融合的Kafka Connect Elasticsearch接收器吞吐量永久下降

Question

我有一个包含700万条记录(3个分区)的主题，并使用大多数默认配置部署了一个任务为1的Elasticsearch接收器。接收器通过在Elasticsearch中创建索引开始，然后以10,000 msgs /秒的速率开始写入。如果我对连接器的任务进行了任何更改

暂停连接器，重新启动任务，启动连接器

保持连接器运行，但重新启动任务

吞吐量下降到400 msgs /秒，再也无法恢复到原来的10,000 / sec。

如果我停止连接器，请从Elasticsearch中删除索引，然后恢复连接器，使其恢复到下沉10k消息/秒的速度。

我尝试将连接器配置更改为默认值，但没有结果。

connection.timeout.ms=1000
batch.size=2000
max.retries=5
max.in.flight.requests=5
retry.backoff.ms=100
max.buffered.records=20000
flush.timeout.ms=10000
read.timeout.ms=3000

我的连接器配置

connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
type.name=logdata
errors.log.include.messages=true
tasks.max=1
topics=d8.qa.id.log.sso.transformed.0
key.ignore=true
schema.ignore=true
value.converter.schemas.enable=false
elastic.security.protocol=PLAINTEXT
name=elasticsearch-sink-d8.qa.id.log.transformed
connection.url=http://172.30.2.23:9200,http://172.30.0.158:9200,http://172.30.1.63:9200
client.id=elasticsearch-sink-d8.qa.id.log.transformed

环境详细信息

Elasticsearch 6.8 (10 data nodes, 3 master)
Elasticsearch connector (version 2.2.1)
Kafka Connect (2 workers with 16GB memory, version 2.2.1)
Kafka Broker (3 brokers with 32GB memory, version 2.2.1)

笔记:

与ES 7.2和Elasticsearch连接器版本2.3.1的行为相同

这是部署到连接群集

的唯一连接器

Answer 1

对于Confluent Platform 5.3.x及更低版本，这是一个已知问题，如果索引不是由JestElasticsearchClient创建的，则该索引不会被缓存。修补程序PR-340和PR-309已合并，将与Confluent Platform 5.4一起部署。