个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
我们发现 Apache Kafka 2.3、2.4.0、2.4.1 和 2.5.0 版本的主题中的消息消失了。我们在对集群进行滚动部署时注意到了这一点，但不幸的是，这种情况并不是每次都会发生，因此非常不一致。
有时我们会丢失主题内的所有消息，有时我们会丢失分区内的所有消息。当发生这种情况时，以下日志是一个常量:
[2020-04-27 10:36:40,386] INFO [Log partition=test-lost-messages-5, dir=/var/kafkadata/data01/data] Deleting segments List(LogSegment(baseOffset=6, size=728, lastModifiedTime=1587978859000, largestTime=0)) (kafka.log.Log)
之前还有一份日志称该段的保留时间超出了 24 小时。在此示例中，该消息是在部署前约 12 分钟生成的。
请注意，所有被错误删除的消息都有 largestTime=0，而被正确删除的消息则有一个有效的时间戳。从我们从文档和代码中读到的内容看来，largestTime 用于计算给定段是否达到时间违规。
由于我们可以在 Kafka 的多个版本中观察到这一点，因此我们认为这可能与 Kafka 外部的任何内容有关。例如动物园管理员。
有人知道为什么会发生这种情况吗？我们使用的是 Zookeeper 3.6.0。
最佳答案
我们发现原因与Kafka本身无关，而是与我们存储日志的卷有关。尽管如此，以下解释可能对教育目的有用:
具体来说，这是一个权限问题，当触发日志清理器时，Kafka 无法读取 .timeindex 文件。 这导致 largestTime 为 0 并导致某些邮件在保留时间之前被删除。
每个主题分区都分为几个段，最后一个段被存储到包含实际消息的不同 .log 文件中。对于每个 .log 文件，都有一个 .timeindex 文件，其中包含偏移量和 lastModifiedTime 之间的映射。
当Kafka需要检查一个段是否可删除时，它会搜索最近的偏移量lastModifiedTime并将其存储为largestTime。然后，检查是否达到保留限制:currentTime -largestTime > replacementTime。
如果是，它将删除该段和相应的消息。
由于 Kafka 无法读取文件，largestTime 为 0，并且检查 currentTime > replacementTime 对于我们的 1- 始终为 true天保留。
关于apache-kafka - 卡夫卡 : Messages disappearing from topics, 最大时间=0，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/61480180/
24
4
0
“用 Haskell 进行函数式思考”中的练习之一是使用融合定律使程序更加高效。我在尝试复制答案时遇到了一些麻烦。 部分计算要求您将 maximum (xs++ map (x+) xs) 转换为 ma
我正在尝试获得 R 中最大/最小的可表示数字。 输入“.Machine”后 我有: $double.xmin [1] 2.225074e-308 $double.xmax [1] 1.797693e+
有没有办法更改浏览器验证消息 请检查所附图片。 我目前正在使用 wooCommerce 目前它显示小于或等于 X 个数字，我想更改为请求超过 X 个项目的报价。 请多多指教 最佳答案 您需要使用oni
我正在尝试将解决方案从 Excel 求解器复制到 R 中，但不知道从哪里开始。 问题: 每小时选择 5 个选项(5 行)，以最大化“分数”的总和，而无需在多个小时内选择同一组 2 次。 换句话说: 最
Haskell 中是否有这样的功能: max_of_type :: (Num a) => a 所以: max_of_type :: Int == 2 ^ 31 - 1 // for example,
我有这两个表示时间范围(秒)的输入字段，我需要这样设置，以便“from/min”字段不能高于“to/max”，反之亦然。 到目前为止我得到了这个: jQuery(document).ready(fun
我有一个看起来像这样的表: http://sqlfiddle.com/#!9/152d2/1/0 CREATE TABLE Table1 ( id int, value decimal(10,
我会尝试尽可能简单地解释它: 首先是一些带有虚拟数据的数据库结构。 结构 tb_spec_fk feature value ----------------- 1 1 1
我有两个表。 表 1: +---------+---------+ | Lead_ID | Deal_ID | +---------+---------+ | 2323 | null |
我的数据库中有一个字段可以包含数字，例如8.00 或范围编号，例如8.00 - 10.00。 如果您将每个数字作为单独的数字，我需要从表中获取 MIN() 和 MAX()。例如当范围为 8.00 -
max(float('nan'), 1) 计算结果为 nan max(1, float('nan')) 计算结果为 1 这是预期的行为吗？ 感谢您的回答。 max 在 iterable 为空时引发异常
我想问一下如何在 CSS 中创建一个页脚栏，它具有最小宽度(比如 650 像素)，并且会根据窗口大小进行拉伸(stretch)，但仅限于某个点(比如 1024 像素)。 我的意思是当窗口大小为例如 1
我尝试调整表格列宽(下一个链接上的“作者”列 http://deploy.jtalks.org/jcommune/branches/1?lang=en)。我已将最小/最大属性添加到 .author-c
在 C# 中，是否有用于将最小值和最大值存储为 double 值的内置类？ 此处列出的要点 http://msdn.microsoft.com/en-us/library/system.windows
问题: 每个任务队列是否可以每秒处理超过 500 个任务？ 每个 GAE 应用是否可以每秒处理超过 50,000 个任务？ 详细信息: Task queue quota文档说: Push Queue
我想知道是否允许最大或最小堆树具有重复值？我试图仅通过在线资源查找与此相关的信息，但一直没有成功。 最佳答案 是的，他们可以。您可以在“算法简介”(Charles E. Leiserson、Cliff
首先，我是 .NET 开发人员，喜欢 C# 中的 LINQ 和扩展方法。 但是当我编写脚本时，我需要相当于 Enumerable extension methods 的东西 任何人都可以给我任何建议/
这是一个检查最大 malloc 大小的简单程序: #include std::size_t maxDataSize = 2097152000; //2000mb void MallocTest(vo
我想找到我的数据的最小值和最大值。 我的数据文件: 1 2 4 5 -3 -13 112 -3 55 42 42 而我的脚本: {min=max=$1} {if ($1max) {max=$1}
我想查询我的Elastic-Search以获取仅具有正值的最低价格价格。我的价格也可以为零和-1；所以我不希望我的最小聚合返回0或-1。我知道我应该向查询(或过滤器)添加脚本，但是我不知道如何。我当前
我是一名优秀的程序员,十分优秀！