java - 在java中跨多个数据存储处理事务的方法是什么？

Question

我想知道跨涉及数据库和文件系统的多个数据存储处理事务的最佳方法是什么？

这是场景:

假设我有一个系统，其中必须存储数据，其中包含文本和二进制。文本提供元数据信息，二进制数据是实际要存储的数据。此外，数据应该可以根据客户端设置的元数据进行搜索。

这带来了以 3 种形式存储数据的架构1. 将二进制数据存储到文件系统上2. RDBMS 中的记录，包含指向文件系统上的二进制数据的指针(id、位置)3. Solr/Lucene等索引引擎中的记录，用于基于元数据的搜索需求。

请注意，使用 RDBMS 是为了确保可靠性，以便在 Solr/Lucene 索引损坏时可以重新建立索引。

上述场景中的挑战是它们每个都是不同的数据存储并具有自己的事务行为。 RDBMS 为我提供了事务功能，但其他两个没有。

现在的问题是，我想创建跨多个数据存储的事务行为。这意味着任何数据存储中的故障都应该恢复其他两个数据存储中的更改。

它还提出了一个问题:哪个应该是必须搜索信息的主要数据存储，因此每个数据存储中的数据存储顺序将变得非常重要。

在一个示例中，我想执行以下操作

1. 将文件写入文件系统
2. 在 Solr/Lucene 上创建索引
3. 将记录插入数据库。

在上述情况下，如果数据库插入失败并发生重试，那么我们可以将数据覆盖到文件系统以及索引引擎上。因为您不希望出现这样的情况:您有数据库记录，但文件系统中没有存储任何数据，以防服务器崩溃。

现在，如果搜索主要由搜索引擎提供，那么它可能具有数据库中不存在相应记录的过时数据。这意味着跨数据存储存在一致性问题。

我相信需要某种状态引擎，它可以理解数据存储中每条记录的状态，直到最后一次提交，并且能够清理陈旧的数据。

我想知道还有其他方法可以处理这个问题吗？还有哪些其他技术可以处理跨多个数据存储插入和更新数据的这种情况？

Answer 1

显然你的问题描述了一个非常复杂的场景。跨多个数据存储写入数据并希望写入在所有系统中都是事务性的。

我可以想到三种方法来做到这一点。

使用服务总线

Mule ESB ( http://www.mulesoft.org/ ) 提供自己的事务功能，让您可以相当轻松地将数据写入多个系统。

困难的部分是在其中一个写入失败的情况下实现回滚策略。但 Mule 绝对是我的第一个想法，因为它与许多系统具有良好的集成，并且支持交易的想法。

将记录标记为脏记录

第二种方法是为每个系统中的每个记录引入一个脏标志。当您开始事务时，您会写入数据，并将每个系统中的每条记录的“脏”标志设置为 1。

如果所有写入都成功，那么您需要返回并将标志设置为 0。如果失败，则很容易返回并删除任何脏内容。

对于读取，你永远不会读到任何脏东西。

如果您要写入四条数据，则可以写入三条，第四条会失败，您可以继续重试第四条，直到成功为止，而不是重新执行整个事务。然后返回并将所有内容标记为 dirty=0。

Java JTA

http://en.wikipedia.org/wiki/Java_Transaction_API 。如果您可以将所有内容包装在 X/Open XA 架构中，那么这可能会起作用。