- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我想分享一个我使用的问题和解决方案,因为我认为它可能对其他人有益,如果人们有任何其他解决方案,请分享。
我有一个包含 1,000,000 行的表,我想将其发送到 kafka,并将数据分布在 20 个分区之间。
我想在生产者到达数据末尾时通知消费者,我不想在生产者和消费者之间建立直接联系。
我知道kafka被设计为逻辑上无穷无尽的数据流,但我仍然需要标记特定表的末尾。
有人建议计算每个逻辑部分的项目数,并将此数据发送(到元数据主题),这样消费者将能够计算项目数,并知道逻辑部分何时结束。
这种方法有几个缺点:
最佳答案
解决方案1:
我实际上希望每个分区的最后一条消息表明它是最后一条消息。
我可以提前做一些工作,创建一些随机消息 key ,发送按 key 分区的消息,并测试每条消息指向哪个分区。由于按键分区是确定性的(对于给定数量的分区),我想准备一个键和目标分区的映射。例如键:'xyz'指向分区#0,键'hjk'指向分区#1等等,最后有反向映射,所以对于分区0,使用键'xyz',对于分区1,使用键'hjk' 等
现在我可以使用随机分区策略发送整个表(最后 20 行除外),因此几乎整个表的数据都分布在分区之间。
当我来到最后 20 行时,我将使用分区键发送它们,我将为每个消息设置分区键,它将消息散列到不同的分区。这样,20 个分区中的每一个都将获得最后 20 条消息之一。对于最后 20 条消息中的每一条,我将设置一个相关的 header ,表明它是最后一条。
解决方案2:
与解决方案 1 类似,但将整个表传播到随机分区。现在发送 20 条元数据消息,我将使用按键分区策略(通过设置适当的键)将这些消息定向到 20 个分区。
解决方案 3:
有额外的控制主题。在表完全发送到数据主题后,向控制主题发送一条消息,说表已完成。消费者需要不时地测试控制主题,当它收到“数据结束”消息时,它会知道如果它到达分区的末尾,它实际上到达了该分区的数据的末尾。这个解决方案不太灵活,也不太推荐,但我也写了它。
关于apache-kafka - 当使用多个分区时,在 kafka 处标记逻辑部分的结尾,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59304389/
C 中的字符串或字符数组必须以空字符结尾才能知道它们在哪里结束。为什么相同的规则不适用于其他类型的数组? 例如。计算机如何知道整数数组在哪里结束?整数/浮点数/ double 数组在内存中的表示方式有
我有一堆文件需要查看。这些文件中的所有行都以 ^M (\x0D) 结尾,但最后一行以 ^M^J (\x0D\x0A) 结尾。 显然,Vim 将文件类型确定为 DOS,效果是文件的整个内容是 显示在一行
以下是来自 Why's Poignant Guide to Ruby Chapter 6 的 Ruby 代码片段,他试图在 Ruby 中演示元编程: # Get a metaclass for thi
我有一个编程问题,希望有人能帮我解决。我正在尝试为一项工作任务学习 C 编程,我为自己设定了一个小项目,其中包括读取文件树,其中包括获取有关每个文件的信息的所有子目录。 我遇到的问题是我的程序不会忽略
其他章节请看: react 高效高质量搭建后台系统 系列 尾篇 本篇主要介绍 表单查询 、 表单验证 、 通知 (WebSocket)、 自动构建
我是 FFmepg 的新手,所以如果术语有误,请原谅我。 我想将文本和音频添加到现有的视频文件中。我链接在一起 2 drawText s,然后在不同的过滤器中,我想合并原始源视频的音轨和一些背景音乐。
使用grep我可以使用以下命令搜索单词的开头和结尾 grep -e '\' 这将找到I have a leg.,但找不到play allegro here。 Ripgrep(0.10.0)似乎不支持
$.ajax({ type:'GET', cache: 'false', url:"/foo/", data:{"id": pid}, success:func
我想在我的 iPhone 应用程序中处理旋转手势并在此期间旋转 imageView。在手势结束时,我想将 imageView 旋转到固定位置。所以,即。如果我将 imageView 从 0 弧度旋转到
我知道检测是一种将跟踪代码动态添加到方法中以启用跟踪和调试的技术。 我想知道这是否只是一个“跟踪”选项,硬编码到 CLR 中以仅添加跟踪代码,或者是否能够向方法添加任何代码? 例如,我想检查某个类中每
我正在查看一些专有源代码:使用库的示例程序。 代码是用 C 和 C++ 编写的,使用 make 构建系统。 每个文件都以注释掉的 [] 结尾:/*[]*/ 源文件和 #[]#对于生成文件。这可能是什么
是否可以循环文件中的每一行并检查它是如何结束的(LF/CRLF): using(StreamReader sr = new StreamReader("TestFile.txt")) { st
我从 JSF 网站的编程开始。目前所有文件都以 .xhtml 结尾。当我去http://localhost:8080/myProject/start.jsf一切正常。但是当我将文件从 start.xh
这是一个多站点问题。我有很多网站都带有.htaccess文件,其中包含多行,类似于: rewriterule ^(page-one|page-two|page-three)/?$ /index.php
真的没有简单的映射来跳转到段落的第一行或最后一行吗? { 和 } 是“独占”命令,因此它们会跳转到段落前后的空行如果有的话,但对于段落的实际第一行或最后一行(即,当段落位于缓冲区的顶部或底部时)。 这
我已经尝试了该站点上所有可能的解决方案。我以前使用过改造,过去已经解决了这个问题,但这次我无法解决。我正在使用 StackOverflow API 来获取问题及其详细信息。 API : https:/
我正在做模式匹配如下。但我没有得到正确的输出。请建议正确的代码以获得正确的输出。 代码 #! /usr/bin/perl -w my $subString = "1.3.6.1.2.1.26.2.1.
如何创建 if 语句以检查整数是否以 0 结尾? 例如,我想要一个这样的 if 语句: var test = 107; //107 is an example it'should some unkno
这个问题已经有答案了: javascript how to tell if one number is a multiple of another (6 个回答) 已关闭 3 年前。 每当秒 var
我正在遍历文件树以识别所有 .DYLIB 文件。 #!/bin/bash #script to recursively travel a dir of n levels function traver
我是一名优秀的程序员,十分优秀!