mysql - MSSQL 到远程 MySQL 700k 行

Question

我需要一些关于将大量数据传输到远程托管的 MySQL 数据库的建议。 (干爹)

我收到了一个 700k 行的 CSV 文件，并将其导入到我的开发机器上的 MSSQL 中，并编写了一些快速实用程序。

首先是创建较小的 1 兆(主机允许的最大值)的 csv 文件，这些文件可以通过phpMyAdmin。 max of 1 meg http://xtubedownloads.com/public/starfield.png

对于每个 meg，我只得到大约 1600 行，这意味着大约 437 个单独的手动上传。 不可行，所以我放弃了该技术。

接下来我尝试使用 MySQL .NET 连接器并通过 ODBC 从 MS Access 和 MS Excel 直接传输。 那失败了。

最后，我编写了一个 .NET winform 应用程序，它从本地 SQL Server 数据库获取数据，然后使用 .NET MySQL 数据程序集通过标准插入查询更新远程 MySQL 数据库。

我让 winform 应用程序生成 4 个线程，每个线程插入一个新的唯一记录以最大化我在每个循环的四个新记录处的输入，但每天仍然只能获得大约 10 万条记录。

(我尝试增加到 10 个线程并运行应用程序的多个实例，但这些传输是内存消耗大户，而 4 是我的机器可以毫无问题地处理的所有线程)

我已经在本地安装了 mysql 管理工具 (MySQL WorkBench 5.2CE)，希望能够通过 mysql 管理工具以某种方式传输 MSSQL 数据。 无法做到这一点。

使用 MSAcess 和 MSExcel 等标准工具时，所有机器 ODBC 尝试均失败。 (可能是一些 godaddy 配置问题或者我正在运行 64 位操作系统并且 Mysql odbc 工具是 32 位的事实？)

我确实有能力远程连接 godaddy 托管的 MySQL 服务器，所以我唯一的其他想法是将 700k 记录放在服务器上的 Access 数据库中，并创建 10 或 20 个 WCF 服务来完成插入 MySQL 的工作数据库。

也许消除必须通过线路传输每一行的延迟会大大提高插入速度？

必须有一种比我现在拥有的方法更有效的方法，一台连续几天 24/7 运行的机器只是为了插入记录。

Answer 1

像这样的事情怎么样:

• 使用 php 脚本检索 SQL 文件的压缩版本(例如，使用 file_get_contents())并将其保存在 MySQL 本地服务器中。与使用 HTML 上传表单相比，您应该能够下载更多数据。顺便说一句，我假设你不能通过 FTP 来完成:)

• 使用 Bigdump交错导入工具，将数据逐条导入MySQL。这样您就可以避免超时/其他相关问题。

祝你好运!