database - 在多个实体之间同步数据最聪明、最简单的方法是什么？

Question

在当今世界，许多计算机、移动设备或网络服务共享数据或充当枢纽，同步变得更加重要。众所周知，同步的解决方案并不是最舒适的解决方案，最好根本不同步。

我仍然很好奇您将如何实现同步解决方案以在多个实体之间进行同步。已经有很多不同的方法，比如比较更改的日期字段或哈希并使用最新数据，或者让用户选择他想在发生冲突的情况下使用的内容。另一种方法是尝试自动合并冲突数据(在我看来这不是很聪明，因为机器无法猜测用户的意思)。

无论如何，在开始实现同步之前，我们应该回答几个与同步相关的问题:

• 最近的数据是什么？我想如何表示它？
• 如果发生冲突我该怎么办？合并？我是否提示并询问用户要做什么？
• 当我进入不一致状态(例如，由于不稳定的移动网络连接而断开连接)时我该怎么办？
• 当我不想进入不一致的状态时，我必须做什么？
• 如何恢复中断的当前同步？
• 我如何处理数据存储(例如网络服务上的 MySQL 数据库、iPhone 上的核心数据；以及如何在不使用大量粘合代码的情况下合并/同步数据)？
• 我应该如何处理同步期间发生的用户编辑(在后台运行，因此 UI 不会被阻止)？
• 我如何以及向哪个方向传播更改(例如，用户在他的计算机上创建了一个“Foo”条目但不同步；然后他在旅途中创建了另一个“Foo”条目；当他尝试同步时会发生什么同步两个设备)？用户是否会有两个具有不同唯一 ID 的“Foo”条目？用户是否只有一个条目，但是是哪一个？
• 当我有分层数据时，我应该如何处理同步？自顶向下？自下而上？我是以原子方式处理每个条目还是只查看 super 节点？过度简化事情和投入太多时间实现之间的权衡有多大？
• …

还有很多其他问题，我希望我能给你足够的启发。同步是一个相当普遍的问题。一旦找到了一个好的、通用的同步方法，将它应用到具体的应用程序中应该会更容易，而不是从头开始思考。我意识到已经有很多应用程序试图解决(或成功解决)同步问题，但它们已经相当具体并且没有对一般的同步方法给出足够的答案。

Answer 1

在我工作的地方，我们开发了主要(网络)应用程序的“离线”版本，以便用户能够在无法访问互联网的地方使用笔记本电脑工作。当用户返回主站点时，他们需要将离线输入的数据与我们的主应用同步。

所以，回答你的问题:

• What is the most recent data? How do I want to represent it?

我们在每个表上都有一个 LAST_UPDATED_DATE 列。服务器跟踪同步发生的时间，因此当离线应用程序请求同步时，服务器会说“嘿，只给我自该日期以来更改的数据”。

• What do I do in case of a conflict? Merge? Do I prompt and askthe user what to do?

在我们的例子中，离线应用程序只能更新所有数据中相对较小的一个子集。当每条记录同步时，我们检查它是否属于这些情况之一，如果是，那么我们比较在线和离线记录的 LAST_UPDATED_DATE。如果日期不同，那么我们还会检查值(因为如果它们都更新为相同的值，则不会发生冲突)。如果存在冲突，我们会记录差异，设置一个标志表明至少存在一个冲突，然后继续检查其余细节。一旦该过程完成，如果设置了“isConflict”标志，用户就可以转到显示差异的特殊页面并确定哪些数据是“正确”版本。然后将此版本保存在主机上，并重置“isConflict”标志。

• What do I have to do when I don’t want to get into an inconsistentstate?
• How do I resume a current sync that got interrupted?

好吧，我们从一开始就尽量避免进入不一致的状态。如果同步因任何原因中断，则 last_synchronisation_date 不会更新，因此下一次同步开始时，它将从与上一次(中断的)同步的开始日期相同的日期开始。

• How do I handle data storage (e.g. MySQL database on a web service, CoreData on an iPhone; and how do Imerge/sync the data without a lot ofglue code)?

我们在两个应用程序上使用标准数据库，在两者之间使用 Java 对象。对象被序列化为 XML(并压缩以加速传输)以用于实际的同步过程，然后在每一端解压缩/反序列化。

• How should I handle edits from the user that happen during the sync(which runs in the background, so theUI isn’t blocked)?

这些编辑将在同步开始日期之后进行，因此在下一次同步之前不会在另一端获取。

• How and in which direction do I propagate changes (e.g. a user createsa „Foo“ entry on his computer anddoesn’t sync; then he’s on the go andcreates another „Foo“ entry; whathappens when he tries to sync bothdevices)? Will the user have two „Foo“entries with different unique IDs?Will the user have only one entry, butwhich one?

这由您决定如何处理这个特定的 Foo...即取决于 Foo 的主键是什么以及您如何确定一个 Foo 是否与另一个相同。

• How should I handle sync when I have hierarchical data? Top-down?Bottom-up? Do I treat every entryatomically or do I only look at asupernode?

同步是原子的，因此如果一条记录失败，则整个过程被标记为未完成，类似于颠覆提交事务。

• How big is the trade-off between oversimplifying things and investingtoo much time into the implementation?

我不太确定您的意思，但我想说这完全取决于您的情况以及您要同步的数据类型/数量。设计和实现流程可能需要很长时间，但这是可能的。

希望对您有所帮助，或者至少给您一些想法! :)