database - 将数据从多个数据库复制到单个数据库

Question

我们为我们的 ERP 客户提供了一个架构，其中一个客户可以有多个数据库，每个数据库在不同的位置运行。客户有一个总部数据库，来自不同数据库的数据在运行的基础上累积。我们有一个基于文件的目前的方法，我们以特定格式为所有数据库更改制作文件，然后在运行的基础上将文件上传到总部位置。在总部，有一个程序一直在运行。一旦文件上传到HO FTP，总部 exe 捕获它。它下载它并根据接收数据的某个位置 ID 更新总部数据库。这种方法在过去的 10-12 年里一直运行良好，但现在我们开始面临问题......随着每个客户的位置数量增加超过 100 个，每天的数据流超过 4-5 个 lac。

问题在于 Headoffice exe 和数据库更新，因为要更新/插入的文件数量和数据量太多。我一直在为这个功能问题寻找一个合适的、可扩展的解决方案。复制或其他一些方法可能会有所帮助。

感谢您的帮助和建议。

Answer 1

你可以使用 SymmetricDS在总部同步数据库并整合数据。它是一个开源复制服务器，可以捕获更改并通过基于 Web 的协议(protocol)定期将它们发送到目标数据库。它被设计为即使在带宽较低的情况下也能工作，并且如果网络不稳定，它会自动恢复。数据可以转换和丰富，因此您可以动态添加位置 ID 来识别数据的客户。它已被部署到生产环境中以同步大量(数千个)数据库，因此在可扩展性方面做了大量工作。项目开发也由一家商业公司赞助，JumpMind ，对其长期成功感兴趣并为其提供商业产品和支持。