sql - 两个数据库之间的数据同步

Question

我需要在两个数据源之间同步:

我有一个网络服务在当时的网络上运行。它不断从网络收集数据并将其存储在数据库中。它还根据客户的请求向客户提供数据。我想保留一个数据存储库作为对象，以便提供更快的服务。

在客户端，有一个windows服务调用前面提到的Web服务并将其本地数据库同步到服务器。

我的一些限制:

• 网络服务的缓冲区限制非常小，每次调用只能传输不到 200 条记录，这对于一天收集的数据来说是不够的。
• 我也无法复制数据库文件，因为数据库结构非常不同(sql 和其他是 access)
• 数据每小时更新一次，需要传输大量数据。
• 由于大小限制，无法按日期或其他组同步。可以进行分页，但远程存储库不断变化(而且我不知道如何从 SQL 数据库表的中间获取数据 block )

如何使用存储库进行最近的数据更新/或完整数据库以与此限制同步？

针对问题的更好方法或对当前方法的改进将被视为正确答案

Answer 1

您提到按日期或按组同步不起作用，因为记录数量太大，但是按日期(或组或其他)同步然后按其分页怎么样？好处是您将拥有一批已定义的记录，并且您现在可以对其进行翻页，因为该组不会更改。

例如，如果您需要每小时提取数据，那么随着时间的流逝(因此，当从上午 8:59 到上午 9:00 时)，您可以开始提取在上午 8 点到 9 点之间添加的数据200 或服务可以处理的任何大小的 block 。