- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在构建一个数据同步器,它捕获来自 MySQL 源的数据更改,并将数据导出到配置单元。
我选择使用 Kafka Connect 来实现这一点。我使用 Debezium 作为源连接器,使用融合的 hdfs 作为接收器连接器。
Debezium 提供了一个 single message transformation让我提取 after
来自复杂事件消息的字段。我按照列出的文档进行了相同的配置,但是没有用。
{
// omit ...
"transform": "unwrap",
"transform.unwrap.type": "io.debezium.transforms.ExtractNewRecordState"
}
before
,
source
, 等等。
ythh@openstack2:~/confluent-5.5.0$ bin/kafka-avro-console-consumer --from-beginning --bootstrap-server localhost:9092 --topic dbserver1.test_data_1.student3
{"before":null,"after":{"dbserver1.test_data_1.student3.Value":{"id":1,"name":"ggg"}},"source":{"version":"1.1.1.Final","connector":"mysql","name":"dbserver1","ts_ms":1589005572000,"snapshot":{"string":"false"},"db":"test_data_1","table":{"string":"student3"},"server_id":1,"gtid":null,"file":"mysql-bin.000011","pos":9474,"row":0,"thread":{"long":6013},"query":null},"op":"c","ts_ms":{"long":1589005572172},"transaction":null}
{"before":null,"after":{"dbserver1.test_data_1.student3.Value":{"id":2,"name":"no way"}},"source":{"version":"1.1.1.Final","connector":"mysql","name":"dbserver1","ts_ms":1589005893000,"snapshot":{"string":"false"},"db":"test_data_1","table":{"string":"student3"},"server_id":1,"gtid":null,"file":"mysql-bin.000011","pos":11218,"row":0,"thread":{"long":6030},"query":null},"op":"c","ts_ms":{"long":1589005893773},"transaction":null}
{"before":null,"after":{"dbserver1.test_data_1.student3.Value":{"id":3,"name":"not work"}},"source":{"version":"1.1.1.Final","connector":"mysql","name":"dbserver1","ts_ms":1589005900000,"snapshot":{"string":"false"},"db":"test_data_1","table":{"string":"student3"},"server_id":1,"gtid":null,"file":"mysql-bin.000011","pos":11501,"row":0,"thread":{"long":6030},"query":null},"op":"c","ts_ms":{"long":1589005900724},"transaction":null}
ythh@openstack2:~/kafka_2.12-2.5.0/logs$ cat connect.log | grep transform
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
[2020-05-09 14:29:30,470] INFO transform.unwrap.type = io.debezium.transforms.ExtractNewRecordState (io.debezium.connector.common.BaseSourceTask:97)
[2020-05-09 14:29:30,470] INFO transform = unwrap (io.debezium.connector.common.BaseSourceTask:97)
[2020-05-09 14:29:30,471] INFO transform.unwrap.drop.tombstones = false (io.debezium.connector.common.BaseSourceTask:97)
[2020-05-09 14:29:30,471] INFO transform.unwrap.delete.handling.mode = rewrite (io.debezium.connector.common.BaseSourceTask:97)
transforms = []
transforms = []
[2020-05-09 14:29:32,419] INFO transform.unwrap.type = io.debezium.transforms.ExtractNewRecordState (io.debezium.connector.common.BaseSourceTask:97)
[2020-05-09 14:29:32,419] INFO transform = unwrap (io.debezium.connector.common.BaseSourceTask:97)
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
transforms = []
最佳答案
看起来你打错了( transform
而不是 transforms
)。试试这个配置:
{
// omit ...
"transforms": "unwrap",
"transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState"
}
关于apache-kafka - Debezium 的 ExtractNewRecordState 转换无法工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61692900/
提供了一个用例: 流处理架构;事件进入 Kafka,然后由带有 MongoDB 接收器的作业进行处理。 数据库名称:myWebsite集合:用户 并且作业接收 users 集合中的 user 记录。
如何删除 debezium 连接器。我正在关注本教程 https://debezium.io/documentation/reference/tutorial.html我看到了注册连接器的方法,但不知
如何删除 debezium 连接器。我正在关注本教程 https://debezium.io/documentation/reference/tutorial.html我看到了注册连接器的方法,但不知
有人可以告诉我将嵌入式 Debezium(不带 kafka)与 osgi bundle 一起使用与将 Debezium 与 kafka 一起使用有什么区别吗?我在互联网上找不到很多关于 Debeziu
我打算使用 debezium用于产生事件到 Kafka我需要强大的交货和订购保证。通过使用 enable.idempotence=true生产者配置中的参数我可以得到这些保证。 我的问题是: 我怎样才
我有一个来自https://hub.docker.com/r/debezium/zookeeper:1.2图像和我的Compose文件的正在运行的Zookeeper实例: version: "3.7"
在我们的应用程序中,我们需要将某个 postgresql 表中的事件发布到 Kafka 中,因此我们决定使用 Debezium,但遇到了以下问题:在初始快照期间,Kafka 中的消息意外出现(从我们的
本文整理了Java中io.debezium.time.ZonedTimestamp类的一些代码示例,展示了ZonedTimestamp类的具体用法。这些代码示例主要来源于Github/Stackove
本文整理了Java中io.debezium.time.ZonedTime类的一些代码示例,展示了ZonedTime类的具体用法。这些代码示例主要来源于Github/Stackoverflow/Mave
我正在尝试使用 Debezium 连接到本地计算机上的 mysql 数据库。 尝试使用以下命令调用kafka:sudo kafka/bin/connect-standalone.shsh kafka/
我安装成功 Postgres Debezium CDC .现在,我能够捕捉到数据库发生的所有变化。但问题是“之前”字段始终为空。所以,如果我插入一条记录 (id = 1, name = Bill)然后
客观的: 需要向现有的 Debezium MySQL 连接器版本 1.1.1.Final 添加一个新表。在使用更新的配置(table.whitelist 中的新表)重新启动连接器后,应将表中的数据填充
我有一些带有 bg_ 和 cp_ 前缀的数据库表,例如“bg_table1”、“bg_table2”和“cp_table1”。还有一些没有任何前缀的其他表,例如 my_table1、user_acti
有人使用Debezium kafka测试集群进行Gradle单元测试吗? 我有一个Vertx gradle项目,想将debezium测试群集与我的verticl kafka客户端测试集成。 我的第一个
我在Postgres中有一个数据库,其中的表“product”与“sales_Channel”连接为1到n。因此,一个产品可以有多个SalesChannel。现在,我想将其传输到ES并保持最新状态,因
我想我可能遗漏了一些配置,但我们正在尝试使用 Debezium 对一个表中的所有行进行快照,该表有大约 800 万条记录,一段时间后它停止了。 连接器配置是: { "connector.clas
我想我可能遗漏了一些配置,但我们正在尝试使用 Debezium 对一个表中的所有行进行快照,该表有大约 800 万条记录,一段时间后它停止了。 连接器配置是: { "connector.clas
我们正在使用 Debezium + PostgreSQL。 请注意,我们有 4 种类型的事件用于创建、读取、更新和删除 - c、r、u 和 d。 我们的应用程序未使用事件的读取类型。实际上,除非我们正
我正在尝试使用 Debezium 和 Kafka 进行 CDC。我在 table.whitelist 属性中注册了一个包含 3 个表的连接器,它工作正常。这是运行连接器的配置。 {"name":"xo
我想将 Debezium 与 kafka connect 结合使用,但我需要在交易结束时完成这项工作。该事务更新了许多表。我可以获得每条消息的 GTID,但我如何知道我何时收到了该交易的所有消息?在我
我是一名优秀的程序员,十分优秀!