- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个 RabbitMQ 代理,我在其上发布不同的消息,这些消息最终将作为 Elasticsearch 中的文档。代理有多个消费者,它们实际上是分配给 amqp 入站网关的任务执行器中的不同线程(此处使用 spring 集成和 spring amqp)。
考虑以下场景:我在 ES 中创建了一个具有结构的文档
{
"field1" : "value1",
"field2" : "value2"
}
field1
.如果我一个接一个地发送此消息(生产中的常见用例),我的消费者线程将以正确的顺序获取消息(amqp 允许这样做),但处理可能以错误的顺序发生,并且稍后更新的值可能是被第一个覆盖。我最终会得到扭曲的数据。
VersionConflictException
在我的场景中:第一次更新将有版本 10000 比方说,第二个 10001,如果首先处理第一个,ES 将拒绝版本为 10000 的请求,因为它低于现有版本。但是从最新版本开始,ES 家伙
have removed this functionality用于更新操作。
最佳答案
一种解决方案可能是使用多个队列并在每个队列上有一个消费者;使用散列函数总是将同一文档的更新路由到同一队列,参见 RabbitMQ Tutorials对于各种选项。
您可以通过添加更多队列(并更改哈希函数)来扩展。
为了弹性,请考虑在 Spring XD 中运行您的消费者。 .您可以拥有每个 rabbit 源的单个实例(对于每个队列),如果它发生故障,XD 将负责将其故障转移到另一个容器节点。
否则,您可以通过热备用来自己动手 - 使用 auto-startup="false"
配置的入站适配器并有一些监控和使用<control-bus/>
如果事件实例关闭,则启动一个新实例。
编辑:
回应下面的第四条评论。
正如我上面所说,要向外扩展,您必须更改散列函数。所以在运行时自动添加消费者会很棘手。
您不必在 jar 中硬编码队列名称,您可以使用属性占位符并从属性、系统属性或环境变量中填充它。
此解决方案是最简单的,但确实有这些限制。
但是,您可以构建一个可以扩展它的管理应用程序 - 停止生产者,等待所有队列静默,重新配置消费者并重新启动生产者 - Spring Integration 提供了 <control-bus/>
启动/停止适配器;你也可以通过 JMX 来实现。
替代解决方案是可能的,但通常需要在集群中维护一些共享状态(可能使用 zookeeper 等),因此要复杂得多;而你 还是 必须处理竞争条件(第二次更新可能在第一次更新之前到达某个消费者)。
关于elasticsearch - 排队机制和 Elasticsearch 1.4.0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27124663/
我有一些基于 TThreads 的操作。现在我需要创建包含要完成的作业列表的线程,然后在前一个完成后立即触发每个线程...我应该如何编写它?我不能允许线程同时运行,因为可能有超过 10 000 个操作
我正在尝试使用 RxJS 来实现服务调用限制/排队。 例如,Google Maps 的 Geocoder API。假设我不希望它每秒被调用一次以上,但是我的应用程序的一个或多个部分可能会比这更频繁
我目前正在通过 freecodecamp 网站的 javascript 部分进行练习,我试图理解为什么特定的方法可以解决它。 function nextInLine(arr, item) { /
详情 我有一个带有动画的功能,当点击按钮时它会.append一个div到body。然后,div 将为其位置向下移动一点点设置动画。添加另一个时,所有 div 也会向下移动,因此它们不会重叠。 现在我们
我有一个正在发送 http 请求的应用程序,每次用户键入时都会返回一个 promise 。我让它每 500 毫秒去抖一次。有时我请求的 api 需要很长时间才能响应。例如,我对 a 发出搜索请求,该请
我一直在做一项作业,涉及实现包含空指针的队列,以便它们可以针对任何类型的数据进行泛化。我目前遇到一个奇怪的问题,虽然出队节点减少了列表的大小但没有返回我期望的节点。在出列操作中省略对 free() 的
我正在寻找概述“排队”的文章和引用资料(我在这里可能甚至没有使用正确的术语)。我希望通过 Redis、RabbitMQ、Celery、Kombu 以及我尚未了解的任何其他组件以及它们如何组合在一起的世
我使用 mbostock/queue用于排队一些异步操作。更多的是速率限制(UI 生成的事件很少,后端可以慢慢处理),并确保它们按顺序处理。我像这样使用它 function request(d, cb
我有我的 android 应用程序,它不是为离线工作而构建的,因此它依赖于网络连接/数据。 应用程序进行大量网络调用,使用新数据集更新 api。 我正在对其进行更改以使其脱机工作。 方法我想我将创建一
我想将 div 的内容更改 3 次,每次更改之间延迟 1 秒。delay() 在此代码中不起作用: $('#import-status-msg').html('Importing content ..
我需要根据存储在数据库中的时间线在 jQuery 中制作一系列动画。我将这些信息与函数名称(动画、幻灯片、淡入淡出...)、函数的选项/参数以及函数的回调一起存储。 我知道 jQuery 确实有 .q
我有以下方法 public async Task SomeMethod(parameters) { // here we execute some instructions which are
在我的 winforms 应用程序中,我有一个包含对象的队列: Queue _queuedRows = new Queue(); 对于每个对象,我必须启动一个单独的 backgroundwor
我有以下代码: for (int i = 1; i <= 500; i++) { BackgroundWorker t = new BackgroundWorker(); t.DoWo
我有一个 CAShapeLayer,我在其中设置了一个圆圈的动画。动画是先顺时针“撤消”圆圈,然后顺时针重画圆圈。有点像“旋转圈”。另一种说法是:将路径描边终点移动到起点,然后将起点移到终点。 动画本
所以,在前一段时间了解完成 block 之后,我非常喜欢使用完成 block 。我喜欢关闭,我喜欢将任何东西传递到任何我想要的地方的能力。 作为线程编程的新手,我一直远离 GCD 和 NSOperat
我有一些使用 FMDB sqllite 包装器 ( https://github.com/ccgus/fmdb ) 的代码,并且我希望从多个线程执行此代码。因此,我使用 FMDatabaseQueue
页面加载速度比预期慢。我用 Firebug 检查了时间线,我看到很多图像阻塞: http://i.imgur.com/tenTNVH.png 我想我做错了什么。 (我知道我这里有双 jquery,会消
我在使用 Alamofire 时遇到任务执行问题我使用了两次 Alamofire,第一次是收集数据( token ),然后我将使用它来发送我的 Post 请求。 我的两次请求之间的问题,数据的恢复是在
我想知道如何将选定的 YouTube 视频添加到临时播放列表/播放队列中? 我有一个选项,用户必须选择要包含在播放队列中的所有视频。 Click on the ADD icon (black back
我是一名优秀的程序员,十分优秀!