apache-kafka - 单个主题内的 Kafka 安全性 : allowing only certain users to read certain messages,

Question

我有一个要求，我们将把一堆不同供应商的金融价格“firehosing”到 Kafka 中的一个“市场数据”主题中。问题是，其中一些供应商具有细粒度的许可要求，一直到单个证券。如果不为每个不同的许可粒度创建不同的主题，有没有办法阻止 Kafka 客户端根据消息中的内容接收信息？ IE Kafka 可以做细粒度的主题内权限吗？

如果不是，对此的规范解决方案是什么？

Answer 1

没有。开箱即用的 Apache Kafka 无法执行“细粒度的主题内许可”。

您必须编写自定义 Kafka 序列化器/反序列化器 (SerDes) 库或在中间实现您自己的授权服务器，以提供基于角色的访问控制 (RBAC) 和基于内容的过滤。

如果您将数据分成不同的主题，那么是的，基本的 Kafka ACL 可以控制对主题的访问，但这不是原始问题，您不会在 kafka 中创建 600 万个主题。

最初的问题是关于一个主题混合不同类型的数据。为此，您需要有一个客户端解串器来读取所有数据，然后根据授权服务器允许他们看到的内容过滤掉某些消息。

如果您担心客户端永远不应该接收不允许接收的数据，即使在客户端堆栈深处，那么您可以使用不同的 key 加密消息，并且您可以控制谁获得 key 。