apache-kafka - Kafka regex-topics/听多个主题的实际限制是什么-6ren

apache-kafka - Kafka regex-topics/听多个主题的实际限制是什么

转载作者：行者123 更新时间：2023-12-04 11:41:14

25

4

我正在探索不同的 PubSub 平台，我想知道 Kafka 中收听多个主题的限制是什么。例如考虑这个用例。我们有火车、车站入口大门、所有发布遥测数据的设备。目前这是在 MQ 上完成的，但随着数据速率的增加、智能火车等，我们需要转移到一个新的 PubSub/流媒体平台，当然 Kafka 也在该列表中。

在我看来，有两种策略可以将此遥测数据聚合到流中:

消费聚合，其中每个火车/设备最初都有自己的主题，主题聚合是使用正则表达式主题/虚拟主题完成的

聚合生产，其中所有列车都生产单个主题，消费者在必要时使用过滤器来挑选单个生产者

据我了解，Kafka 不是特别适合大量主题(> 10.000)，但可以做到。正则表达式主题是否能够聚合 2000、3000 个主题？

最佳答案

从技术角度来看，是可以做到的；但在实践中，这并不常见。为什么？动物园管理员。建议集群最大为 每个代理 4000 个分区 .这部分是由于为 Zookeeper 上的所有人执行领导选举的开销。
我建议你在 Confluent 的博客上阅读这些关于这个有趣话题的博客文章:

How to choose the number of topics/partitions in a Kafka cluster?

Apache Kafka Supports 200K Partitions Per Cluster

Apache Kafka Made Simple: A First Glimpse of a Kafka Without ZooKeeper

关于apache-kafka - Kafka regex-topics/听多个主题的实际限制是什么，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58876582/

25

4

0

文章推荐： tsql - SQL DateDiff 没有周末和公共(public)假期

文章推荐： content-security-policy - 在 CSP 样式-src 中不尊重 Sha 哈希

regex - std.regex.regex 的返回值？
我正在尝试编写一个函数，该函数接受输入字符串、正则表达式(由 std.regex.regex 从原始字符串生成)和错误消息字符串，并尝试匹配来自使用正则表达式输入字符串，如果没有匹配则显示错误消息。到
regex - `regex{n,}?` == `regex{n}` ?
-edit- 注意 ?末.{2,}? 我发现你可以写 .{2,}? 是不是和下面一模一样？ .{2} 最佳答案号{2,}表示两次或更多次同时 {2}意思是正好两次。量词默认是贪婪的，所以给定字符串
regex - 如何在 RegEx 模式的 RegEx 匹配中包含第一个字符？
我有以下文字: This is a test ::a. MODE 3 within 7 hours, ::b. MODE 4 within 13 hours, and ::c. MODE 5 with
regex - 使用 Regex.fromLiteral() 创建的 Regex 到底匹配什么？
我用 Regex.fromLiteral(".*") 创建了一个非常简单的匹配所有正则表达式. 根据documentation :“返回指定文字字符串的文字正则表达式。” 但是我真的不明白“对于指定的
regex - 有什么好的技巧可以帮助记住 RegEx？
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
regex - 如何在该位置使用Nginx Regex
该Web项目将静态内容放入一些/content/img文件夹中。网址规则是:/img/{some md5} 但在文件夹中的位置:/content/img/{前两位数字}/ 例子 url:
regex - 捕获两个空格之间的数字 (RegEx)
我有以下数据: SOMEDATA .test 01/45/12 2.50 THIS IS DATA 我想从中提取数字 2.50。我已设法使用以下 RegEx 做到这一点: (?<=\d{2}\/\d{
regex - REGEX 表达式的简化
我需要证明或反驳下面的正则表达式 (RS + R )* R = R (SR + R)* // or, for programmers: /(RS|R)*R/ == /R(SR|R)*/ 我有一种强烈的
regex - 如何找到所有与货币相关的数字 REGEX？
对于具有自由文本的字符串: "The shares of the stock at the XKI Market fell by €89.99 today, which saw a drop of a
regex - 将变量添加到 RegEx
例如，我有 RegEx DSX-?2 的 var 我需要将此变量添加到 RegEx 并获取此 .match(/DSX-?2/gi) 最佳答案您可以创建一个 RegExp对象使用 new RegExp
regex - REGEX Sqlite不区分大小写不起作用
我无法区分大小写的搜索无法在SQLITE中用于REGEX。支持语法吗？ SELECT * FROM table WHERE name REGEXP 'smith[s]*\i' 我希望得到以下答案（假设
regex - RegEx-捕获组中OR值的顺序更改结果
Visual Studio / XPath / RegEx：给定表达式： (?(Car|Car Blue)) +(?.+) +---> +(?.+) 给定搜索字符串： Car Blue Flying
regex - 有什么作用？ : do in regex
我有一个看起来像这样的正则表达式 /^(?:\w+\s)*(\w+)$*/ 什么是?: ? 最佳答案它表示子模式是非捕获子模式。这意味着在 (?:\w+\s) 中匹配的任何内容，即使它被 () 括起
regex - RegEx 引擎的工作原理
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
regex - 使用正则表达式对值进行分组 regex
我在 Excel 工作表(也以 csv 格式)中获得了姓名列表，并根据姓名来源进行了分组。这就是我创建的组的样子。现在我想添加一个新列，名称后面包含组名称。这就是我想要获得的。我如何得到这个？
regex - 将所有特殊字符和单词分成字符串列表中的项目-Regex
我试图将一个字符串拆分为一个字符串列表，单词是分开的，但是周围的字符，例如.. "?()“”!"也分开。要分隔的字符串是"testing “testing” “one two three” (hi
regex - 为连续的完整日志文件中的每个部分匹配 REGEX
我有一个来自视频转换文件的完整日志，它看起来像这样: -------------------------------------------------------------------------
regex - REGEX 在多个定界符内只匹配一次
在定界符为“-”的模式 X-Y-Z 中，我想检查 Y 是否具有大小 8 而没有重复。 Y 可以是像 Y = (A-B-C) 这样的子集，但如果没有，则 Y 的值为 1 1 - num-12345678
java - 为什么Java有replaceAll(regex, replacement)而不是replaceAll(regex, regex)？
Java确实有这个功能，谢谢你的回答，对我来说失去对API的关注太可惜了... 例如: String strOriginal = "A:B&C@D"; 我认为java中应该有一个非常好的方法来改变它，
regex - 带增量的小时的正则表达式 (RegEx)
我只需要接受符合这些规则的输入... 0.25-24 0.25 的增量(.00、.25、.50、.75) 第一个数字不是必须的。希望尾随零是可选的。一些有效条目的示例: 0.25 .50 .5 1

首页

博学

6Ren·AI

商城

apache-kafka - Kafka regex-topics/听多个主题的实际限制是什么