- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我想在使用 Kafka Connect Source JDBC 连接器导入表时设置消息键。
当定义多个表从 JDBC 连接器读取时,Kafka Connect/Source 中的单消息转换 (SMT) 如何定位到正确的字段? SMT 需要一个列名,当有多个表时该列名可能会有所不同。
我没有找到根据表名称或类似名称过滤 SMT 定义的方法。下面的代码示例工作正常,因为它只有一张表。
但是如果您有不同的表该怎么办,例如用户、订单、产品?
"table.whitelist" : "User"
"transforms":"createKey,extract",
"transforms.createKey.type":"org.apache.kafka.connect.transforms.ValueToKey",
"transforms.createKey.fields":"user_id",
"transforms.extract.type":"org.apache.kafka.connect.transforms.ExtractField\$Key",
"transforms.extract.field":"user_id",
当具有该配置的工作任务遇到没有该 user_id 字段的表时,它会崩溃并保持 FAILED 状态
org.apache.kafka.connect.errors.ConnectException:
Tolerance exceeded in error handler
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:178)
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:104)
at org.apache.kafka.connect.runtime.TransformationChain.apply(TransformationChain.java:50)
at org.apache.kafka.connect.runtime.WorkerSourceTask.sendRecords(WorkerSourceTask.java:293)
at org.apache.kafka.connect.runtime.WorkerSourceTask.execute(WorkerSourceTask.java:229)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)\nCaused by: java.lang.NullPointerException
at org.apache.kafka.connect.transforms.ValueToKey.applyWithSchema(ValueToKey.java:85)
at org.apache.kafka.connect.transforms.ValueToKey.apply(ValueToKey.java:65)
at org.apache.kafka.connect.runtime.TransformationChain.lambda$apply$0(TransformationChain.java:50)
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:128)
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:162)
... 11 more
这是合理的,因为不可能通过表格或目标光学器件来定义,不是吗?我希望能够将转换限制为给定的表或主题,例如类似的东西
transforms.<topic-name>.createKey.type
我是否遗漏了什么或者是连接限制?
最佳答案
不可能仅将 SMT 应用于特定主题,因为这是连接器级别配置,意味着它应用于每条已处理的消息。
我建议您为每个主题创建不同的连接器,以便您可以仅将 SMT 应用于主题的子集。
关于apache-kafka - 如何将单个消息转换与 Kafka Connect JDBC Source Connector 和多个表一起使用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57019861/
我想为 python 3 使用 mysql-connector 库。我可以使用 pymysql 代替,但是 mysql-connector 已经有一个连接池实现,而 pymysql 似乎没有。所以我要
哈,我正在尝试在 asp.net 4 中将 CKFinder 与 ckeditor 一起使用,但出现此错误: Could not load type 'CKFinder.Connector.Conne
哈,我正在尝试在 asp.net 4 中将 CKFinder 与 ckeditor 一起使用,但出现此错误: Could not load type 'CKFinder.Connector.Conne
SAP Java 连接器 是否仍然是将 Java 应用程序与 SAP 连接的好方法?将来(尤其是在 ECC 6.0 中)是否会有连接器的支持和维护,或者是使用 ECC 6.0 中的“企业服务”的唯一好
我一直在使用 AzureLogicApp 中的 FTP 连接器将 FTP 服务器中的文件从源文件夹解压缩到目标文件夹。 我已将 FTP 连接器配置为在源文件夹中添加文件时触发。 我面临的问题是此处触发
我一直在使用 AzureLogicApp 中的 FTP 连接器将 FTP 服务器中的文件从源文件夹解压缩到目标文件夹。 我已将 FTP 连接器配置为在源文件夹中添加文件时触发。 我面临的问题是此处触发
1) sudo dpkg -i mysql-connector-python_1.0.12-1ubuntu12.04_all.deb 2) sudo dpkg -i mysql-utilities_1
导入 mysql.connector ModuleNotFoundError:没有名为“mysql.connector”的模块; 'mysql' 不是一个包 pip install mysql-con
我正在为我们的一位客户开发 C# 应用程序。我们已经定义了一些 IDOC 结构。所有规范都在 Excel 表格中。 所以问题是:是否可以从“IDOCTYPE_READ_COMPLETE”函数获取整个
我有这两个表:gantt_tasks 和 gantt_links,我成功将任务添加到第一个表,但如果我尝试添加链接,则会出现此错误。 java.lang.ClassCastException: com
我正在尝试在远程 tomcat 服务器(8.5.39)上部署我的 java 后台。为了使用 https,我在/conf/server.xml 上更改了这些行 我可以在远程服务器上运行t
当我安装mysql-connector-python 2.0.1-1时( http://dev.mysql.com/downloads/connector/python/ ) 在 Ubuntu 14.
为了在 SFTP 写入连接器中获取文件名,我已将文件名存储在变量中并写入文件(暂存),然后将其写入目录。从不同的流中,我需要将相同的文件移动到输出位置,两个流不是相互链接的。 Mule4 中没有 Se
我在 virtualbox 中使用 vagrant。将数据插入数据库时出现此错误。我尝试修复错误的事情: 清除所有缓存、路由和配置 确保我的 env 文件已配置(我已经尝试将 127.0.0.1
我正在准备第一次使用jdbc,并且正在为MySQL安装jdbc驱动程序。 但是,我不清楚将这些文件中的哪些移动到 Eclipse 中的 WEB_INF/lib 文件夹中。它们似乎都包含相同的内容,并一
我使用的是Eclipse Helios v3.6,每次启动时,都会显示以下对话框。但是我不使用颠覆。有人知道如何停止吗? 最佳答案 我遇到过同样的问题。要修复它,我进入了Eclipse插件目录,并搜索
我已经在mongodb服务器中安装了mongo-connector。 我通过发出命令来执行 mongo-connector -m [remote mongo server IP]:[remote mo
我使用的是 gnu/linux 系统,特别是 Fedora 21 64 位。我想通过终端系统启动我的arduino IDE,突然,这个错误出现了: Could not find agent libra
Mysql-connector-java驱动版本问题 由于我的数据库版本是5.7.28 ,在使用java连接mysql时经常出现版本问题。 com.mysql.jdbc.Driver 是
当前问题集: 包含 mysql_connector 对象的 Python 应用程序 只能使用 mysql 访问远程服务器(不能使用 ssh、rsh、telnet 等) 目标: 使用 mysql 连接器
我是一名优秀的程序员,十分优秀!