- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
(2012年12月6日的第二次更新-新协议,观点截然不同)
问题是下面的解决方案对您来说是否合理,或者是否存在我没有注意到的任何缺陷(对于SQL Server Service Broker来说是相当新的)...
我想继续分析SQL Service Broker: Collecting data from distributed sources中提出的问题。我想集中讨论从卫星SQL服务器收集数据时要使用的协议问题。必须使用SQL Server Service Broker,这也是由此处未介绍的其他原因所决定的。因此,请不要提出完全替代的解决方案。
我想着重于应该做什么以及如何针对特定问题自然地(最好的方式)使用Service Broker的细节。总体目标was presented in the above mentioned question。图片第一:
现在要考虑更多细节...
想要插件架构
卫星机器与真实的物理生产线有关。有可能在技术过程中添加了一些机器,有的机器可能消失了,有的机器可以被替换,就某种意义上说,它将使用相同的生产线标识,但是在物理上是不同的,即它的SQL Server是不同的实例。
中央服务器直到从卫星获得第一条消息之前,对卫星一无所知。卫星服务器没有集中式数据库。不知道系统中将包含什么以及有多少个卫星SQL服务器。始终由卫星站点决定。
与收集数据有关的任何活动应由卫星机器产生的事件启动。
重要提示:目标是连续传输所有新创建的数据(来自传感器),并发现和修复丢失-独立于可能导致它们的原因。
给你具体的例子:
由行号3(黄色)标识的机器最近已添加到环境中。它的SQL Server Express已启动,并开始收集传感器数据(第三方解决方案,具有特殊结构的专用表)。机器尚未连接到中央服务器。
唯一的配置是可靠分配的生产线固定标识(此处为3),以及连接到中央SQL Server的所有必要详细信息。但是中央SQL Server不知道该信息。中央服务器刚刚准备好接受任何新来源的数据,但永远不知道何时。 (已经针对问题using the approach suggested by Remus Rusanu answer的一台计算机SQL Service Broker — one central SQL and more satelite SQL…对其进行了测试。)
不久之后,该SQL软件就部署在了机器3上。它开始与中央对话。卫星部分不是哑巴,但它的活动是在将新记录插入传感器数据表时发送传感器数据(请参见上面的第1点)。根据记录,计算UTC时间(根据专有格式),将一条记录中的多个传感器数据转换为相同数量的规范化记录(格式为一条XML消息),然后发送到中央SQL Server。
消息由卫星机器发送的传感器数据激活了中央控制器。物理连接的失败被Service Broker队列掩盖。
在合理的时间间隔(此处为一小时)之后,中央服务器检查是否应处理到目前为止收集的数据。有一个工作单元需要一些生产时间,因此应该处理数据并将其添加到该单元的文档中。仅当单元完成后才进行处理。
中央还检查它是否具有该单元的所有数据。由于传感器采样是在已知的定期间隔(此处大约为1分钟)内进行的,因此中心可以检查是否有一些掉落。当卫星未通过SSB连接到中心时,时间间隔也有一个初始的“丢失”。该机制应从任何情况中恢复。也可能发生传感器未按顺序收集或数据未收集的情况。在中心检测到的退出实际上可能意味着中心问:“在此时间间隔内,我没有来自您的数据。如果它们存在,请向我发送其中一些,或者告诉我它们不存在。”
卫星应该只发送在采样时间之间可以发送的尽可能多的数据。从辍学中恢复可能会相当缓慢。在中央服务器上处理数据的延迟并不重要。但是,中心应知道数据何时准备就绪(或在检测到的时间间隔内不存在)。
一些图片,更多解决方案详细信息
我选择"Recycling conversations" by Remus Rusanu作为卫星和中央之间通信的基本框架。它定义了EndOfStream
消息类型,以表示应丢弃对话句柄并应使用新的句柄。生命周期受到Service Broker计时器生成的上述一小时间隔的限制。
该消息在中央服务器上也被(错误地)用于激活数据处理。大约在同一时间,中央检查是否有辍学。中央保持时间低于已检查的辍学时间。这样,它就知道可以处理哪些数据了。
您认为这种情况合理吗?您能看到任何问题吗?
(我将对问题进行细化以反映您的建议。)
感谢您的时间和经验,祝您有愉快的一天。
彼得
最佳答案
所有数据应存储在表中。在附属方面,您应该为要存储的最后处理的行创建一个表。当来自Central的新请求到达时,新数据包将根据最后处理的记录值发送回Central。
注意:我建议根据您的数据限制要发送的行数,以免创建非常大的数据包。
当Central处理所有行时,应将适当的消息发送到Satellite。它还应包含有关发生的数据导入错误的信息。
您可以在注册数据库活动(在Central / Satellite数据库上使用DML / DDL触发器)或在计划内(使用Central Agent作业)启动Service Broker对话。
关于sql - SQL Service Broker:收集数据-插件方案分析,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12547810/
引用网址 http://hi.baidu.com/quiteuniverse/blog/item/9f3f043d46ad1e07bba16716.html 以下函数调用方式:&nbs
我什至不确定如何描述我正在尝试做的事情,因为我对 cookie 了解不多,但就这样吧。 是否可以使用PHP从浏览器缓存中收集一个cookie(或cookie文件),将其保存到数据库中,然后清除缓存并重
我正在使用 Room(v. 2.2.1)和协程支持(v. 1.3.2)并进行以下设置 @Entity(tableName = "simple_table") data class SimpleEnti
我正在尝试编写一个基于时间运算符收集/累积值的规则。 rule "Zone6 Overlap" when $i1 : Instance ($e1 : event == " Vel : 20.9
我有一个简单的 BST,定义了节点结构: struct node { int key_value; struct node *left; struct node *right; }; ty
我有这个对象: public class MenuPriceByDay implements Serializable { private BigDecimal avgPrice; p
我正在开发一个应用程序,需要访问给定传感器的“最后 5 秒有值(value)的数据”。我的计划是以某种方式存储这些数据,然后当我请求数据时,它将返回最近 5 秒内获得的所有数据。鉴于以下情况,我不确定
在 Ruby 中,您可以对数组使用 map/collect 方法来修改它: a = [ "a", "b", "c", "d" ] a.collect! {|x| x + "!" } a
我即将开始实时收集大量数字数据(对于那些感兴趣的人,各种股票和 future 的出价/要价/最后或“磁带”)。稍后将检索数据以进行分析和模拟。这一点都不难,但我想高效地做到这一点,这会带来很多问题。我
我提出这个问题是为了寻求有关如何设计系统的实用建议。 像 amazon.com 和 pandora 这样的网站拥有并维护着庞大的数据集来运行他们的核心业务。例如,亚马逊(以及所有其他主要电子商务网站)
假设我们有一个数据数组和另一个带索引的数组。 data = [1, 2, 3, 4, 5, 7] index = [5, 1, 4, 0, 2, 3] 我们想从 index 的 data 元素创建一个
好的,我已经阅读了几个关于它的主题,但现在就开始吧。假设我有一个应用程序,基本上我会时不时地点击一个按钮,几分钟内会发生很多事情,然后它可能会再闲置一个小时,或者可能只是 1 分钟。难道不是在整个结束
我有一个数据框,例如 Seq Chrm start end length score 0 A C1 1 50 49 12 1 B
我正在考虑在 Object[] 数组中收集泛型方法的所有方法参数以进行记录。我知道使用方面可以更好地实现这一点,但是我不允许使用它,并且如果可能的话我正在寻找一种基于纯反射的方法 为了澄清, 假设一个
快速提问: 如果 Socket 对象(及其本地缓存的 InputStream 和 OutputStream 对象)超出范围并被垃圾收集,连接是否在 JVM 中保持打开状态? (即,不会在监听服务器上抛
是否有用于收集 facebook 公共(public)数据作为实时提要的 API。我阅读了关于用于收集数据的公共(public)提要 API,但我现在不能申请,而且它不是免费的,还有 Open str
摘要 :我使用自定义收集器收集给定搜索的所有命中的文档 ID(它使用 ID 填充 BitSet)。根据我的需要,搜索和获取文档 ID 的速度非常快,但是当涉及到从磁盘实际获取文档时,事情变得非常缓慢。
我正在寻找一种方法来从自定义 Gradle 插件收集给定项目的所有依赖约束(通过常规 platform 和/或 enforcedPlatform 和/或“手动”强制执行)。 在 Maven 世界中,您
我有一个 CSV 格式的用户列表,但我需要按广告中的名称从每个用户收集 SamAccount 属性。 CSV 模型 脚本 Get-ADObject -Filter 'ObjectClass -eq "
我得到了一个非常大的列表,其中包含大约 200 个带有文本和图像的项目。 ng-repeat 是一种缓慢渲染的方式。它尝试过这个 solution 。效果很好。但不适合重复收集。 我的网络服务返回此:
我是一名优秀的程序员,十分优秀!