mysql - Kafka 连接 MySQL 源

Question

在我开始之前，我想首先声明我是 Kafka 的新手，也是 Linux 的新手，所以如果这最终是一个简单得可笑的答案，请多多包涵! :)

我正在尝试做的事情的高级想法是使用 Confluent 的 Kafka Connect 从 MySQL 数据库中读取，该数据库在一分钟或亚分钟的基础上将传感器数据流式传输到它，然后使用 Kafka 作为“ETL管道”以立即将该数据路由到数据仓库和/或 MongoDB 以进行报告，甚至直接从我们的网络应用程序连接到 Kafka。

我正在使用 Robin Moffatt 的 series以及 Confluent 的 JDBC Source Connector Quickstart作为我的初始指南。至于它们的托管位置，我正在使用 Amazon RDS MySQL 数据库和带有 Ubuntu 16.04.2 的单独 AWS EC2 t2.large 实例来运行 Kafka Connect。

使用 Robin 的工作流程，我已经创建了配置文件，但我没有使用他使用的 json 格式。我使用的是快速入门文章中的格式。

name=jdbc_source_mysql_4427_Data       
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://localhost:8081
connection.url=jdbc:mysql://lndbtest.cdveaddpnevv.us-east-2.rds.amazonaws.com:3306/LNDBv1?user=adminRDS&password=*****                
table.whitelist=4427_Data              
mode=timestamp                
timestamp.column.name=TmStamp               
validate.non.null=false                
topic.prefix=mysql-

保存在:

/etc/kafka-connect-jdbc/kafka-connect-jdbc-source.properties

然后我运行:

/usr/bin/confluent load jdbc_source_mysql_4427_Data  -d /etc/kafka-connect-jdbc/kafka-connect-jdbc-source.properties

并得到这个错误:

{
  "error_code": 400,
  "message": "Connector configuration is invalid and contains the following 2 error(s):\nInvalid value java.sql.SQLException: No suitable driver found for jdbc:mysql://lndbtest.cdveaddpnevv.us-east-2.rds.amazonaws.com:3306/LNDBv1?user=adminRDS&password=*** for configuration Couldn't open connection to jdbc:mysql://lndbtest.cdveaddpnevv.us-east-2.rds.amazonaws.com:3306/LNDBv1?user=adminRDS&password=***\nInvalid value java.sql.SQLException: No suitable driver found for jdbc:mysql://lndbtest.cdveaddpnevv.us-east-2.rds.amazonaws.com:3306/LNDBv1?user=adminRDS&password=*** for configuration Couldn't open connection to jdbc:mysql://lndbtest.cdveaddpnevv.us-east-2.rds.amazonaws.com:3306/LNDBv1?user=adminRDS&password=***\nYou can also find the above list of errors at the endpoint `/{connectorType}/config/validate`"
}

这似乎是一个驱动问题。我现在的问题是，“我是否需要将 MySQL JDBC 驱动程序下载到我的 EC2 实例，或者它是否应该包含在 Confluent Platform 包中？”

此外，我的总体想法听起来是否适合 Kafka Connect？

正如我之前提到的，我是这些技术的新手，但我发现最好的学习方法是直接投入并尝试解决问题。任何想法和建议都将非常受欢迎。谢谢!

Answer 1

整体概念对我来说很有意义。您确实需要下载驱动程序并将其添加到您的工作程序类路径中。我认为出于许可原因未打包它。