mysql - SQL Server 与MySql 之间传输数据时出现错误，如何解决？

Question

我有一个连接到 mysql 服务器并尝试从不同表中提取数据并将行插入到 SQL Server 2005 数据库中的 SSIS 包。

我注意到的一个问题是，在任何给定时间它运行时，无论它在哪一步，它几乎总是无法将总记录从 mysql 导入 sql server。

没有抛出任何错误。

一天早上，它将拥有所有 1100 万条记录，而在下一次运行时，它将拥有 3000 到 17000 条记录。

有人注意到这样的事情吗？

Answer 1

我从两个独立的 MySQL 数据库导入数据——一个通过 Internet，一个在内部。我从来没有遇到过这种类型的问题。您能描述一下如何设置与 MySQL 数据库的连接吗？我使用了 MySQL 网站上提供的 ODBC 驱动程序，并在我的数据流中使用引用 ODBC 连接的 ADO.NET 数据源进行连接。

至少可以防止自己加载不完整数据的一种可能方法是仅加载新记录。如果源表有一个 ID，并且记录一旦插入就不会改变，那么您可以通过首先检查数据库来输入最大 ID。

另一种防止加载不完整数据的可能方法是将 MySQL 数据库加载到目标服务器上的暂存表中，然后仅加载尚未加载的记录。

另一种方法是将数据加载到临时表中，验证记录是否大于某个最小阈值，例如目标表的行数或每天预期的最小事务数，然后只提交此验证后更改。如果行数不足，则在包上引发错误并发送通知电子邮件。引发错误的优点是您可以将 SQL Server 代理作业设置为按定义的尝试次数重试该步骤，以查看是否可以解决问题。

希望这些提示有所帮助，即使它们不能直接解决问题的根本原因。