mysql - 最佳实践 : Transferring millions of entries to another MySQL DB

Question

我有以下任务分配给我:

获取一个包含多个表和数十万个条目的当前数据库，并编写一个脚本，将大部分数据传输到具有不同结构的单独数据库。

基本上已经创建了一个具有不同表结构的新数据库，我需要(在确认所有数据类型都匹配后)编写脚本将数据复制到正确的表/列。

最后，我想知道在如此海量的数据传输中，是否有人可以提供任何最佳实践、首选语言或提示/技巧？

Answer 1

首先，我认为最重要的一点是，您应该不惜一切代价避免编写任何将数据从生产服务器传输到另一台的脚本。单独使用实时数据进行迁移的潜在危险应该是足够的理由。

也就是说，我可以建议一些我认为可能对此类任务有益的做法。

1. 从您的生产服务器中获取所有数据，并将其转储到一个完全独立的开发箱中。消除对原始数据的风险以及对服务器性能的影响。
2. 一旦在严格的开发平台上，我建议尽可能保持所有数据从 SQL 到 SQL 的移动，而不是使用某种中间语言编写脚本。当然，您的新结构可能完全禁止这种方法，但总的来说，不得不担心将数据从严格、可靠的数据类型移动到另一种语言(例如，无类型的 PHP 或类型严格的 .net)回到数据库正在添加许多步骤，这些步骤会使您的任务复杂化，增加计算时间，并可能导致未捕获的损失。
3. 在您有时间和能力的情况下，花尽可能多的时间验证新设计架构的智能性。除非您束手无策，否则请尝试想象这些更改是否(实际上)是改进，以及不可避免的查询重写是否会提高效率和可读性。

我敢肯定还有许多其他事情需要注意，但我希望这些足以帮助您从一种模式转移到另一种模式。如果本地服务器可行，请不要让自己陷入远程服务器的困境，然后再导入。保持简单!