mysql - 无法将mysql数据导入elasticsearch

Question

我正在尝试按照类(class)示例进行操作，但在常见问题解答中没有收到任何帮助，尝试了我在谷歌和此处可以找到的所有内容。

我没有使用 docker，只是在本地计算机(Ubunutu 18.04)上运行此演示，elasticsearch 和 mysql 都在运行。

当我运行“sudo bin/logstash -f/etc/logstash/conf.d/mysql.conf --path.settings/etc/logstash”时我收到以下错误:com.mysql.jdbc.Driver 未加载。您确定已在 :jdbc_driver_library 中包含正确的 jdbc 驱动程序吗？驱动程序确实存在并且路径正确。

当我使用 sudo bin/logstash --config.test_and_exit -f/etc/logstash/conf.d/mysql.conf 时它返回配置正常。

我正在使用 mysql-connector-java-5.1.47openjdk版本“1.8.0_181”OpenJDK 运行时环境(内部版本 1.8.0_181-8u181-b13-0ubuntu0.18.04.1-b13)OpenJDK 64 位服务器虚拟机(内部版本 25.181-b13，混合模式)

Elasticsearch-6.4.2Logstash-6.4.2

我的mysql.conf是

input {
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/movielens"
        jdbc_user => "grunt"
        jdbc_password => "password"
        jdbc_driver_library => "/home/alarik/mysql-connecter-java-5.1.47/mysql-connector-java-5.1.47-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        statement => "SELECT * FROM movies"
    }
}

output {
    stdout { codec => json_lines }
    elasticsearch {
        "hosts" => "localhost:9200"
        "index" => "movielens-sql"
        "document_type" => "data"
    }
}

Answer 1

我解决了这个问题:

首先检查你的java版本:

root@xxxxxx:/# java -version
openjdk version "1.8.0_181"

如果您使用的是 1.8，那么您应该使用 JDBC42 版本。

如果您使用的是 1.7，那么您应该使用 JDBC41 版本。

如果您使用的是 1.6，那么您应该使用 JDBC43 版本。

mysql设置:

mysql-connector-java-5.1.46.jar

jdbc_driver_library => "//path_to_jar/mysql-connector-java-5.1.46.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"