elasticsearch - java.lang.NoSuchMethodError : com. google.common.collect.Sets$SetView.iterator()Lcom/google/common/collect/UnmodifiableIterator;

Question

我一直在尝试使用 kafka-connect api 将 kafka 连接到 elasticsearch。Kafka 版本是 0.11.0.0。这些是我遵循的步骤:

1.构建 Elasticsearch 连接器:

https://github.com/confluentinc/kafka-connect-elasticsearch.git

2.构建连接器

$ cd kafka-connect-elasticsearch
$ mvn clean package

3.最后运行脚本:

$ bin/connect-standalone.sh config/connect-standalone.properties config/elasticsearch-connect.properties

它抛出以下异常:

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.collect.Sets$SetView.iterator()Lcom/google/common/collect/UnmodifiableIterator;
    at org.reflections.Reflections.expandSuperTypes(Reflections.java:380)
    at org.reflections.Reflections.<init>(Reflections.java:126)
    at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.scanPluginPath(DelegatingClassLoader.java:221)
    at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.scanUrlsAndAddPlugins(DelegatingClassLoader.java:198)
    at org.apache.kafka.connect.runtime.isolation.DelegatingClassLoader.initLoaders(DelegatingClassLoader.java:159)
    at org.apache.kafka.connect.runtime.isolation.Plugins.<init>(Plugins.java:47)
    at org.apache.kafka.connect.cli.ConnectStandalone.main(ConnectStandalone.java:68)

无法理解出了什么问题。

Answer 1

根据经验，此错误意味着您在类路径的较早位置引入了旧版本的 guava。 Connect worker 需要 guava >= 20 才能使 org.reflections 正常工作。

kafka-connect-elasticsearch 或 guava 18.0 或更早版本附带的任何其他连接器将禁止 worker 启动。此错误消息表示在类路径中首先遇到较旧的 guava jar。

两种解决方案:

1. 的确如此，如Hans Jespersen提到，通过在 Connect worker 的配置中设置 plugin.path 使用类加载隔离，将允许连接器按原样工作，而不会干扰 Connect 框架。
2. 如果将连接器添加到 CLASSPATH 是您唯一的选择，请确保将其添加到 Kafka Connect 的依赖项之后，以便选择最新的 guava。