- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
<强>1。问题描述
如果停止一个消费者并立即启动这个消费者,消费者组需要大约 10 秒的时间来重新平衡。
但是如果停止一个consumer等待10s左右,然后再启动那个consumer,就不会出现这个问题。
<强>2。环境
kakfa-version:0.11.0.1
<强>3。演示
Consumer-A和Consumer-B在同组group1,生产者代码如下
public static void main(String[] args) throws Exception{
Properties props = new Properties();
props.put("bootstrap.servers", "ip:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
Producer<String, String> producer = new KafkaProducer<>(props);
boolean flag = true;
int i = 0;
while(flag){
if(i>=1000){
flag = false;
}
producer.send(new ProducerRecord("topic1", "topic<1>-"+ i));
i++;
Thread.sleep(1000);
}
producer.close();
}
消费者代码如下
public static void main(String []args){
Properties props = new Properties();
props.put("bootstrap.servers", "ip:9092");
props.put("group.id", "group1");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("topic1"));
boolean flag = true;
while (flag) {
ConsumerRecords<String, String> records = consumer.poll(100);
for (ConsumerRecord<String, String> record : records)
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
consumer.close();
}
4.如何重现这个问题
Discovered coordinator 10.105.168.92:9092 (id: 2147483646 rack: null) for group group1.
Revoking previously assigned partitions [] for group group1
(Re-)joining group group1
<will sleep about 10s>
Successfully joined group group1 with generation 52
Setting newly assigned partitions [topic1-0, topic1-1, topic1-6, topic1-7, topic1-2, topic1-3, topic1-4, topic1-5] for group group1
消费者-B的日志
Revoking previously assigned partitions [topic2-0, topic2-1, topic2-2, topic2-7, topic2-3, topic2-4, topic2-5, topic2-6] for group group1
(Re-)joining group group1
<will sleep about 10s>
Successfully joined group group1 with generation 52
Setting newly assigned partitions [topic2-0, topic2-1, topic2-2, topic2-7, topic2-3, topic2-4, topic2-5, topic2-6] for group group1
offset = 215, key = null, value = testMessageTopic<2>-318
通过log我们可以看到,Consumer-A和Consumer-B加入group也需要10秒左右的时间,看来他们都需要得到generation same value:52,这一步好像耗费了10 秒。
5.如何避免这个问题。
<5.2.1>在做step1之前,Consumer-A和Consumer-B的generation value也是63<5.2.2>停止Consumer-A进程后,Consumer-B会立即重新加入群组并获得生成值:64
<5.2.3>等待约15秒后,再次启动Consumer1Demo.java main。 Consumer-A会立即重新加入群组并获得生成值:65
<5.2.4>那么,Consumer-A再次加入导致生成值发生变化时,Consumer-B也会重新加入生成值为65的group。
5.根本原因
在这种情况下,似乎step5.1和step5.2同时发生,所以可能存在资源竞争,因此协调器可能需要10秒才能解决问题。
6.我的问题
不知道我分析的对不对,还有别的原因吗?
最佳答案
因为两个consumer1和consumer2在同一个consumer group中,当重启或停止其中一个consumer时,consumer group会做do rebalance
操作,耗时10s左右。
换了不同的消费组后,问题解决了。
关于apache-kafka - 当停止一个消费者并立即启动它时,消费者组需要大约 10 秒的时间来重新平衡,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48436228/
我正在使用 Tkinter 在 python 上写一个小游戏(顺便说一下,我不允许使用任何其他非内置模块)并且我想在主窗口上播放背景歌曲,这是那个包含标题,以及转到其他窗口和内容的按钮... 所以问题
我有一个 Azure WebJob,它在一个非常简单的应用服务标准:1 Small(计划)上运行。 现在,我的 WebJob(有 5 个函数正在运行)出现问题 - 我想停止 5 个正在运行的函数中的
我在 MacOS Lion 上使用 XCode 4.2。在模拟器中调试 iPhone/iPad 应用程序时,我使用 XCode 工具栏上的“停止”按钮(产品 | 停止)退出应用程序。在此之后,XCod
我刚刚下载了android开放源代码项目,并尝试使用make来构建它,我收到了以下消息: build/core/prebuilt.mk:91: *** recipe commences before
我以前从未制作过 makefile,但我们已经收到了这个,但是,如果我尝试运行它,它只会说, missing separator. stop. 我不知道可能出了什么问题 - 我已经确保空格只按制表符。
好吧,这段代码非常基本。用户将答案输入文本框,如果等于“第一+第二”,他们就得到一分。然后,他们有 5 秒钟的时间回答下一个数学问题。如果他们这样做了,函数“doCalculation”将再次运行,他
我在 viewController 中有一个循环动画 - (void)moveAnimating { [UIView animateWithDuration:2.0f animations:^
当我有一个待处理的 ASIFormDataRequest(作为异步任务启动)仍在执行并且用户按下后退按钮(为了弹出 View )时,我的 viewController 出现问题。 有什么方法可以停止该
我们正在使用 flashdevelop 和 flash CS 3 开发基于 flash 的游戏。我们正在使用 flash CS3 发布 swc,swc 将作为库在 flashdevlop 中使用。 一
我在线程中有一个连接,因此我将其添加到运行循环中以获取所有数据: [[NSRunLoop currentRunLoop] run]; [connection scheduleInRunLoop
你好,我做了一个 php 套接字服务器来从 plc 获取数据,plc 被配置为 tcp 套接字客户端。 我有一个严重的问题,如果本地网络出现故障,似乎功能 socket_accept 停止,plc 无
这个问题已经有答案了: How to stop a setTimeout loop? (10 个回答) 已关闭 8 年前。 请帮助获得正确的函数或方法来停止 setTimeout 函数。 我一直在尝试
我正在运行一个多项目SBT(v0.13)构建,并且希望它在子项目中遇到的第一个错误(编译)时快速失败(停止)。 当前的行为是,当某项无法在子项目中进行编译时,构建将继续(以编译所有其他子项目)。 一旦
我有播放.wav文件中声音的代码,但是我无法停止播放歌曲,甚至无法退出程序直到播放结束。因为这是一首5分钟的歌曲,所以这是一个问题。这是我如何播放wav的代码: public class EasySo
我正在寻找一种解决方案,该如何控制从JSF应用程序播放音频文件。 我不需要完整的解决方案,只需引用我可以用来控制播放音频文件(开始/停止/更改声音)的组件即可。 我尝试搜索过去的问题,但没有成功。 我
我已经在test.ps1中编写了以下函数,在运行该脚本以启动/停止/ ..时我想做一个选择: function getState($SeviceName) { $server = @('hos
我必须设置一个 10 分钟的计时器,它会重定向到主屏幕。此外,它必须在每个操作(例如按下按钮)时重置。我找到了这个计时器:https://github.com/fengyuanchen/vue-cou
我正在制作一个聊天应用程序,功能之一就是发送声音。发送的HTML如下: LOL Stop Play 第一次发送时,“自动播放”效果很好。因此,现在我
我基本上希望页面能够接受用户输入的时间(以秒为单位)。 之后我希望当用户按下“开始”按钮时开始倒计时按下暂停按钮时“暂停”。还有一个重置按钮,以便用户可以从头开始倒计时。 这是我到目前为止得到的:
我需要停止 $.each 循环,加载图像,然后继续循环。我有 Canvas ,可以在其中加载对象图像。对象以正确的顺序排列在数组中。现在,当我尝试从数组加载对象时,存在一个问题:由于尺寸不同,并且它们
我是一名优秀的程序员,十分优秀!