个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在开展一个项目，不同的生产者(每个生产者由另一个客户代表)可以向我的服务发送事件。
此服务负责接收这些事件并将它们存储在中间 Kafka 主题中，稍后我们将获取并处理这些事件。
问题是一个客户可以泛滥事件并影响另一个客户的事件处理，我正在尝试找到一种最佳方法来在不同客户之间创建一定程度的隔离!
到目前为止，我能够通过为每个客户创建不同的主题来解决这个问题。
虽然这个解决方案暂时解决了这个问题，但随着我们的生产者(客户)数量的增长，Kafka 似乎并不能很好地处理 100k+ 的大量主题，我们开始体验到单个代理的受控重启占用了几个小时。
谁能建议一种更好的方法来在生产者之间建立隔离级别？
最佳答案
您可以查看 Kafka 限制，这是在 Kafka 代理级别完成的。通过将生产者配置为每个拥有不同的用户/客户端 ID，您可以实现某种程度的限制(这样一个生产者就不会淹没其他生产者)。
参见 https://kafka.apache.org/documentation.html#design_quotas
关于apache-kafka - Apache Kafka 隔离不同的生产者，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46737233/
25
4
0
kafka的java客户端-生产者 生产者消息发送流程 发送原理 在消息发送的过程中，涉及俩个线程，main线程和sender线程，在main线程中创建一个双端队列RecordAccumulator。
我使用互斥体和条件编写了一个生产者/消费者程序。它使用全局 int 来生成和使用值。有 1 个消费者线程和多个生产者线程。 规则: 当值太小时，消费者会等待。 当值太大时，生产者就会等待。 我的问题是
我有兴趣发现当有多个产品和多个消费者时是否可以在不使用赋值的情况下解决生产者 - 消费者问题，即使用函数式编程风格？如何？ Producer-consumer problem 谢谢 最佳答案 是的，您
单个进程中的两个不同线程可以通过读取和/或写入共享一个公共(public)内存位置。 通常，这种(有意的)共享是通过使用 lock 的原子操作来实现的。 x86 上的前缀，对于 lock前缀本身(即非
我正在尝试编写一个简单的生产者-消费者应用程序，在该应用程序中，我需要从文件中读取大块数据(可能很大)，并且(出于简单测试目的)只需通过另一个线程将其写入另一个文件中即可。 我尝试了很多在线资源，但是
我已经为kafka(wurstmeister / kafka-docker)构建了一个docker镜像。在docker容器内部，我能够使用内置的shell脚本创建主题，生成消息并使用消息。现在，我正在
我正在尝试模拟关于多线程的生产者-消费者模型。 我们假设要遵守三个规则: 当桶装满产品时，生产者不能将产品添加到桶中。 当桶为空时，消费者无法从桶中获取产品。 生产和消费不能同时进行。换句话说，这两个
我有一个生成器应用程序，可以生成索引(将其存储在某些内存树数据结构中)。消费者应用程序将使用索引来搜索部分匹配。 我不希望消费者 UI 在生产者索引数据时必须阻塞(例如通过某些进度条)。基本上，如果用
我正在尝试为我遇到的排队问题找到解决方案。在典型的场景中，生产者将一些东西放入队列中，而消费者将其取出。如果我们有一个也消费的生产者和一个最初从队列中取出某些内容然后将某些内容(例如结果)放回到队列中
虽然以下是众所周知的话题，但我想请您提供意见。我写了一个小程序如下:所有生产者和消费者都排队。我不明白为什么会这样。什么场景下可以完全阻塞。 让我们考虑一下生产者/消费者正在等待数组上的锁，以及是什么
下面是我用于实现生产者-消费者问题的代码。使用 notifyAll() 一切正常，但是由于性能原因，我想用 notify() 替换所有出现的 notifyAll() >. 我发现通过将 notifyA
我有一个生产者-消费者的基本实现，如下所示: 我的问题是如何使线程数:x ~ y 来提高应用程序性能和负载平衡？有人有关键字或提示吗？预先感谢您! 最佳答案 您应该能够通过 Little's La
我编写了一个类“Producer”，它连续解析特定文件夹中的文件。解析的结果将存储在Consumer的队列中。 public class Producer extends Thread { p
我遇到“生产者 - 消费者任务”中可能出现死锁的问题。一切都应该按以下方式进行: 生产者应该生成 int[] 数组并将其添加到集合中 消费者应该获取这些数组，将它们放入第二个集合并在输出中打印 在 D
我正在为我的操作系统类(class)做一个 CPU 调度模拟器项目。该程序应包含两个线程:生产者线程和消费者线程。生产者线程包括在系统中生成进程的生成器和选择多个进程并将它们放入一个名为 Buffer
我想知道是否可以通过 AMQP 和 RabbitMQ 为生产者和消费者使用不同的语言？ 例如:Java 用于生产者，python/php 用于消费者，还是反之？ 最佳答案 是的，AMQP 与语言无关，
编辑:我有一个生产者类，它将一些数据发送到 SharedBuffer 类。该数据被添加到 ArrayList 中，限制设置为 100。将数据添加到所述列表中没有问题，但消费者类无法从列表中获取任何数据
我正在尝试在有界缓冲区中使用生产者/消费者线程。缓冲区长度为 5。我有 1 个互斥体和 2 个信号量，空信号量从缓冲区大小开始，满信号量从 0 开始。 当我在最后没有 sleep() 的情况下运行代码
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
我用Java的LinkedBlockingDeque实现了生产者-消费者模式，但我遇到了一个问题，我有时想将一个项目(已经在队列中的某个位置)移动到队列的前面，以便更快地处理它。我永远不知道哪些已经排
我是一名优秀的程序员,十分优秀！