apache-kafka - 如何在 Kafka Source Connector 中编写自定义 SMT 以混淆私有(private)数据

Question

假设我想设置一个 Kafka 源连接器，以将一些数据从我的数据库泵入我的 Kafka。现在，假设由于安全原因，我想对数据库中的某些列进行混淆(例如，应用哈希函数)。 Kafka Connect 是否有标准的方法，或者我必须先创建私有(private)主题，然后编写一些自定义代码来创建这些主题的公共(public)版本(带有敏感数据的散列值)？
我知道有诸如转换之类的东西( MaskField 等)，但它们似乎都不能解决我的问题。例如，MaskField 做了类似 +1-234-567-8987 -> " - -****"之类的事情，我不想发生这种情况，因为我仍然希望有不同的条目输入值。

Answer 1

Kafka Connect 让编写自己的单消息转换 (SMT) 变得非常方便。如果没有任何默认转换符合您的目的，您可以构建自定义转换器。
这个blog解释如何构建自己的，以及 GitHub 上提供的完整示例:
您需要执行 Transformation<R>并覆盖 apply()使用您的自定义算法处理个人相关数据的方法。
当您将该代码编译为 JAR 并通过 plugin.path 将其提供给 Kafka Connect 时在 Connect worker 的属性文件中指定，然后可以在连接器属性中配置转换。