elasticsearch - Kafka Mysql CDC到 Elasticsearch

Question

我试图通过MySql将对source-connector db的更改外包给kafka主题，并且有效。现在，我想将这些数据发送到 flex 搜索实例。

为此，我关注了这个Kafka Connect Elasticsearch: Consuming and Indexing with Kafka Connect和这个Kafka Connect and Elasticsearch。

对于从mysql到kafka的CDC，我可以看到我在mysql中所做的更改，并读取了它以创建源连接器，但是当我创建另一个连接器elasticsearch-sink连接器时，source-connectr task.state 显示为Failed!因此，尽管在es-config.properties文件中在设置中创建了索引，但数据库更改不会进入ES。

我将jar放入了kafka-dir中，用于源连接器的lib工作(以避免有关类路径问题的进一步问题)。

创建elaticsearch-sink-connector时出现此错误(尽管如此，我没有任何错误，并且所有库都在同一目录中!):

ERROR Plugin class loader for connector: 'io.confluent.connect.elasticsearch.ElasticsearchSinkConnector' was not found. Returning: org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader@5cc126dc (org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader:165)

我正在运行我的连接器:

bin/connect-standalone.sh config/connect-standalone.properties config/elasticsearch-connect.properties

简而言之，我的一个连接器task.state一次仅保留 RUNNING
编辑:connect-standablone.properties文件的 plugin.path:

plugin.path=/media/***/projects/playground/kafka/kafka_2.12-2.4.0, /media/***/projects/playground/kafka/kafka-connect-elasticsearch/target/kafka-connect-elasticsearch-3.2.0-SNAPSHOT-package/share/java

它们都包含es-connector jar。最后一个添加为但仍然相同

我现在应该怎么办？

Answer 1

当我只是将schema.enable更改为false时，事情就像魅力一样工作

key.converter.schemas.enable=false
value.converter.schemas.enable=false

并在 /之后添加了额外的 plugin.path，尽管没有 /，它也适用于源连接器!

编辑:我忘了提到我也用5.4.0版本替换了我的连接器版本，如cricket_007所述
编辑2:
后来我进行了更多调查，发现额外的 /问题以及下面提到的新关键属性帮助我摆脱了连接器的 FAILED状态(一次只运行一个连接器):

internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false

在connect-standalone.properties文件中

谢谢