- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
我最近一直在使用 Kafka,对消费者组下的消费者有些困惑。混淆的中心是将消费者实现为进程还是线程。对于这个问题,假设我使用的是高级消费者。
让我们考虑一个我试验过的场景。在我的主题中有 2 个分区(为简单起见,我们假设复制因子仅为 1)。我创建了一个消费者(ConsumerConnector
)进程consumer1
同组group1
,然后创建了一个大小为 2 的主题计数映射,然后生成了 2 个消费者线程 consumer1_thread1
和 consumer1_thread2
在那个过程下。看起来像 consumer1_thread1
正在使用分区 0
和 consumer1_thread2
正在使用分区 1
.这种行为总是确定性的吗?下面是代码片段。类 TestConsumer
是我的消费者线程类。
...
Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
topicCountMap.put(topic, new Integer(2));
Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
List<KafkaStream<byte[], byte[]>> streams = consumerMap.get(topic);
executor = Executors.newFixedThreadPool(2);
int threadNumber = 0;
for (final KafkaStream stream : streams) {
executor.submit(new TestConsumer(stream, threadNumber));
threadNumber++;
}
...
现在,让我们考虑另一种情况(我没有试验过但很好奇),我在其中启动了 2 个消费者进程 consumer1
和 consumer2
都有相同的组 group1
他们每个人都是一个单线程进程。现在我的问题是:
在这种情况下,两个独立的消费者进程(尽管在同一组下)将如何与分区相关?和上面的单进程多线程场景有什么区别?
一般来说,消费者线程或进程如何映射/关联到主题中的分区?
Kafka 文档确实说消费者组下的每个消费者将消费一个分区。但是,这是指消费者线程(如我上面的代码示例)还是独立的消费者进程?
关于将消费者实现为进程与线程,我在这里遗漏了什么微妙的东西吗?提前致谢。
最佳答案
一个消费者组可以有多个消费者实例在运行(多个进程具有相同的 group-id
)。在消费时,每个分区仅由组中的一个消费者实例消费。
例如如果您的主题包含 2 个分区并且您启动了一个消费者组 group-A
如果有 2 个消费者实例,那么它们中的每一个都将消费来自主题的特定分区的消息。
如果您使用不同的组 ID 启动同一个 2 个消费者 group-A
& group-B
然后来自主题的两个分区的消息将被广播到它们中的每一个。所以在那种情况下,消费者实例在 group-A
下运行将有来自主题的两个分区的消息,group-B
也是如此。
在他们的 documentation 上阅读更多相关信息
编辑:根据您的评论,
I was wondering what is the effective difference between having 2 consumer threads under the same process as opposed to 2 consumer processes (group being the same in both cases)
消费者group-id
在集群中是相同的/全局的。假设你已经启动了一个有 2 个线程的进程,然后生成另一个进程(可能在不同的机器上)具有相同的 groupId 有 2 个线程,然后 kafka 将添加这 2 个新线程来使用来自主题的消息。所以最终会有 4 个线程负责从同一个主题中消费。然后 Kafka 将触发重新平衡以将分区重新分配给线程,因此对于线程正在使用的特定分区可能会发生这种情况 T1 of process P1
可以分配给线程使用 T2 of process P2
.下面几行摘自wiki页面
When a new process is started with the same Consumer Group name, Kafka will add that processes' threads to the set of threads available to consume the Topic and trigger a 're-balance'. During this re-balance Kafka will assign available partitions to available threads, possibly moving a partition to another process. If you have a mixture of old and new business logic, it is possible that some messages go to the old logic.
关于java - Kafka消费者-消费者进程和线程与主题分区的关系是什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32470720/
我将 Bootstrap 与 css 和 java 脚本结合使用。在不影响前端代码的情况下,我真的很难在css中绘制这个背景。在许多问题中,人们将宽度和高度设置为 0%。但是由于我的导航栏,我不能使用
我正在用 c 编写一个程序来读取文件的内容。代码如下: #include void main() { char line[90]; while(scanf("%79[^\
我想使用 javascript 获取矩阵数组的所有对 Angular 线。假设输入输出如下: input = [ [1,2,3], [4,5,6], [7,8,9], ] output =
可以用pdfmake绘制lines,circles和other shapes吗?如果是,是否有documentation或样本?我想用jsPDF替换pdfmake。 最佳答案 是的,有可能。 pdfm
我有一个小svg小部件,其目的是显示角度列表(参见图片)。 现在,角度是线元素,仅具有笔触,没有填充。但是现在我想使用一种“内部填充”颜色和一种“笔触/边框”颜色。我猜想line元素不能解决这个问题,
我正在为带有三角对象的 3D 场景编写一个非常基本的光线转换器,一切都工作正常,直到我决定尝试从场景原点 (0/0/0) 以外的点转换光线。 但是,当我将光线原点更改为 (0/1/0) 时,相交测试突
这个问题已经有答案了: Why do people write "#!/usr/bin/env python" on the first line of a Python script? (22 个回
如何使用大约 50 个星号 * 并使用 for 循环绘制一条水平线?当我尝试这样做时,结果是垂直(而不是水平)列出 50 个星号。 public void drawAstline() { f
这是一个让球以对角线方式下降的 UI,但球保持静止;线程似乎无法正常工作。你能告诉我如何让球移动吗? 请下载一个球并更改目录,以便程序可以找到您的球的分配位置。没有必要下载足球场,但如果您愿意,也可以
我在我的一个项目中使用 Jmeter 和 Ant,当我们生成报告时,它会在报告中显示 URL、#Samples、失败、成功率、平均时间、最短时间、最长时间。 我也想在报告中包含 90% 的时间线。 现
我有一个不寻常的问题,希望有人能帮助我。我想用 Canvas (android) 画一条 Swing 或波浪线,但我不知道该怎么做。它将成为蝌蚪的尾部,所以理想情况下我希望它的形状更像三角形,一端更大
这个问题已经有答案了: Checking Collision of Shapes with JavaFX (1 个回答) 已关闭 8 年前。 我正在使用 JavaFx 8 库。 我的任务很简单:我想检
如何按编号的百分比拆分文件。行数? 假设我想将我的文件分成 3 个部分(60%/20%/20% 部分),我可以手动执行此操作,-_-: $ wc -l brown.txt 57339 brown.tx
我正在努力实现这样的目标: 但这就是我设法做到的。 你能帮我实现预期的结果吗? 更新: 如果我删除 bootstrap.css 依赖项,问题就会消失。我怎样才能让它与 Bootstrap 一起工作?
我目前正在构建一个网站,但遇到了 transform: scale 的问题。我有一个按钮,当用户将鼠标悬停在它上面时,会发生两件事: 背景以对 Angular 线“扫过” 按钮标签颜色改变 按钮稍微变
我需要使用直线和仿射变换绘制大量数据点的图形(缩放图形以适合 View )。 目前,我正在使用 NSBezierPath,但我认为它效率很低(因为点在绘制之前被复制到贝塞尔路径)。通过将我的数据切割成
我正在使用基于 SVM 分类的 HOG 特征检测器。我可以成功提取车牌,但提取的车牌除了车牌号外还有一些不必要的像素/线。我的图像处理流程如下: 在灰度图像上应用 HOG 检测器 裁剪检测到的区域 调
我有以下图片: 我想填充它的轮廓(即我想在这张图片中填充线条)。 我尝试了形态学闭合,但使用大小为 3x3 的矩形内核和 10 迭代并没有填满整个边界。我还尝试了一个 21x21 内核和 1 迭代,但
我必须找到一种算法,可以找到两组数组之间的交集总数,而其中一个数组已排序。 举个例子,我们有这两个数组,我们向相应的数字画直线。 这两个数组为我们提供了总共 7 个交集。 有什么样的算法可以帮助我解决
简单地说 - 我想使用透视投影从近裁剪平面绘制一条射线/线到远裁剪平面。我有我认为是使用各种 OpenGL/图形编程指南中描述的方法通过单击鼠标生成的正确标准化的世界坐标。 我遇到的问题是我的光线似乎
我是一名优秀的程序员,十分优秀!