- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
我想知道在支持并发的同时,dSu空间如何管理数据库和SOLR中的索引。换言之,如果两个人试图同时在同一项上写入(例如更改元数据),dspace如何确保索引不会与数据库解除同步。
如果用户1与用户2在同一元数据值上同时写入,并且首先写入用户1的数据库,然后写入数据库和用户2的索引,然后写入用户1的索引,则会发生这种情况。
换句话说,user1“write”将在索引中,而user2 write将在数据库中=不一致!!!
我想知道在dspace中如何避免这种情况,dspace是一个典型的双写问题。
有了dspace的事件系统,我不知道如何才能避免这种情况。
有人知道吗?
最佳答案
在solr中,dspace不只是索引单个元数据更改(当它发生时)。它实际上在solr中重新索引了整个项目。
这意味着,虽然并发是数据库层中的一个问题(并且写入/更新在数据库中是同步的),但它不是SOLR索引过程中的一个。
以下是在你的例子中会/应该发生的事情。
用户1和用户2同时编辑同一项的标题。
编辑将在数据库级别同步,以便首先进行第一次编辑。假设首先是用户1的编辑,然后是用户2的编辑。
用户1的编辑将触发solr中的重新索引。用户2的编辑也将如此。这意味着同一个项目将重新编制两次索引(一次为
每次编辑)。这些重新索引与特定更新无关(因此第一个Reindex不仅索引标题),而且只告诉SURR该项被更新并且需要重新索引。
在第一次重新索引时,将对用户1进行编辑,因此将使用该标题索引该项。
到第二次重新编制索引时,用户2的编辑已经完成(因为重新编制索引比将编辑保存到db层所需的时间更长),因此该项将使用更新的标题(重新)编制索引。
所以,这里的简单答案是,dspace不会重新索引单个修改(如果不与db编辑同步,可能会导致无序)。相反,它跟踪哪些对象已经更新,并触发整个对象元数据的重新索引。虽然这看起来像是“过度杀戮”,但solr中单个对象的重新索引并不是所有过程密集型的,它确保对象的当前/最新元数据在solr中被索引(在同时写入的情况下)。
更新:按要求(在下面的评论),这里是DSpace如何执行更详细的索引(在SOLR)。
dspace有一个定义的事件系统。它遵循本节dspace.cfg
中的配置:https://github.com/DSpace/DSpace/blob/dspace-5_x/dspace/config/dspace.cfg#L732
默认情况下,在dSPACE 5中,IndexEventConsumer
是执行SOLR的索引。默认情况下,在这里定义配置:https://github.com/DSpace/DSpace/blob/dspace-5_x/dspace/config/dspace.cfg#L732
在dspace 5中,每当有人更改项的元数据(或任何有关项的内容)时,都会调用Item.update()
方法将更改实际保存回数据库层。
保存所有更改(使用DatabaseManager.update()
)后,Item.update()
方法将生成new MODIFY event in the Event System。
新的修改事件被附加到LinkedList of events in the current Context
当Context is committed时(保存更改时发生),它首先调用db连接上的commit(结束事务)。然后,它将事件列表发送给dispatcher(BasicDispatcher
在dspace.cfg中默认配置),然后在solr中触发索引(通过配置的IndexEventConsumer
)IndexEventConsumer
将更新对象列表(在本例中是一个项目)传递给索引服务(默认情况下SolrServiceImpl
)。
最后,SolrServiceImpl.indexContent()
从数据库中读取最新的元数据值,并在solr中索引它们。
上面的逻辑仍然有点简单(因为它太复杂了,无法遍历代码的每一步)。但是,这里的基本要点是,每个Item.update()
调用都被视为一个数据库事务。它还触发添加一个modify事件,该事件存储在用户的会话(上下文对象)中。一旦提交了db事务,modify事件将由IndexEventConsumer
处理,后者将重新索引整个项。
因此,在同时编辑的情况下,将生成两个修改事件(每个编辑一个)。但是,在提交最后一次数据库编辑之前,不会触发最后一次修改事件。因此,solr索引应该始终与数据库中的最新信息同步。
关于database - Dspace双重写入RDBMS和SOLR与并发,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36323741/
我们使用 Azure 弹性池,生成多个客户端数据库和一个引用客户端数据库的主数据库。 我们已经拥有多个数据库,并且正在开发新版本的代码。我们使用 EF6 代码优先。当我们对模型进行更改(添加属性)时,
我们使用 Azure 弹性池,生成多个客户端数据库和一个引用客户端数据库的主数据库。 我们已经拥有多个数据库,并且正在开发新版本的代码。我们使用 EF6 代码优先。当我们对模型进行更改(添加属性)时,
我希望将一些信息分发到不同的机器上,以便在没有任何网络开销的情况下实现高效和极快的访问。数据存在于关系模式中,实体之间的关系是“加入”的要求,但根本不是写入数据库的要求(它会离线生成)。 我非常相信
我使用 GrapheneDB 来托管我的 neo4j 数据库 (db)。 问题 我有 N客户并且正在寻找自动分离他们的内容(他们独特的数据库)的方法,以便: 它不重叠数据 操作速度不受影响。 选项 1
当服务器开始工作(Tomcat)时,日志显示此错误: org.springframework.beans.factory.BeanDefinitionStoreException: Invalid b
我在 Oracle 数据库实例中按以下方式创建了一个触发器。 CREATE OR REPLACE TRIGGER after_logon_on_database AFTER LOGON ON DATA
原谅我的无知,我是数据库约定的初学者。 这是我的 SQLite 代码:(由我的数据库浏览器自动生成) CREATE TABLE `ResearchItems` ( `ID` INTEGER NO
是的是的是的,我已经在整个互联网上搜索过这个问题。一些结果发现,甚至来自 Stackoverflow。但是他们中的大多数人说“你应该自动加载数据库”,或者“parent::__construct();
我正在创建一个 Mac 应用程序,它将一些数据保存到 SQLite 数据库中。问题是:当我关闭数据库并再次打开时,数据不存在了。这是我的代码: NSString *sql = [NSString st
我正在建立一个网站,我打算发布各种帖子,比如教程、文章等。我打算用 php 来管理它,但是当涉及到存储每个帖子的内容时,将要显示的文本,更好的选择是:使用单独的文本文件还是将其添加为数据库中的每个条目
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 3 年前。 Improve this qu
对不起,这个关键字对我来说没有任何意义...有人可以给我一个定义吗? 提前致谢... 最佳答案 这是一个品牌。 http://pervasive.com/这是他们的数据库产品的链接 http://ww
我已经在 docker 版本 1.10.1 的 docker 镜像中安装了 PostgreSQL 9.4.6。根据这张官方图片: https://github.com/docker-library/p
当我的 android 应用程序尝试读取 android 短信数据库时,我遇到了这个崩溃。读取android短信数据库的代码类似于下面的代码 fragment : String SMS_URI = "
我有一个 public kit repo,我推送了 v1.0.3 并具有以下结构 go -database --database.go --go.mod --go.sum 我需要它 require g
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 9 年前。 Improve this qu
我们正在使用MySQL数据库在Go中创建一个Web应用程序。我们的用户一次只能拥有一个活跃的客户端。就像Spotify一样,您一次只能在一台设备上听音乐。为此,我制作了一个映射,将用户ID和作为其值的
我已经尝试在 PostgreSQL 中创建数据库好几天了,遇到了几个问题,但似乎卡住了。 我在 PostgreSQL 中手动创建了一个名为 postgres_development 的数据库,因为 b
我正在创建一个 iMessage 应用程序,它需要连接到与我的常规应用程序相同的数据库。 我调用 FirebaseApp.configure() 并对用户进行身份验证,但出于某种原因,在所有 Data
就像std::unordered_map但所有数据都应存储在磁盘上而不是内存中。 按照我的理解,应该做两部分:索引和存储。我已经学习了一些关于索引的数据结构,比如 Linear-Hash 或 B-Tr
我是一名优秀的程序员,十分优秀!