mysql - 导入大型 SQL 文件

Question

我是一名学生，正在进行一些涉及数据挖掘的研究。我有几个志愿者“节点”服务器，它们收集并生成 SQL 文件，供我导入我的服务器并进行分析。

问题是，这些文件非常大，我需要一种快速导入它们的方法。网络最近扩展了，现在硬盘驱动器上的吞吐量不足以让 MySQL 控制台在它们进来时导入它们。时间很重要——研究有一个截止日期，我想提前尽可能多地积极聚集，不要排长队等待插入。

我想知道是否有更好的方法来导入非常大的文件 - 每个文件大约有 100 MB。我试过 "\.myfile.sql""但这太慢了。PHPMyAdmin 不会处理那么大的文件。

有什么想法吗？谢谢!

Answer 1

你试过了吗mysql -uYOU -p < myfile.sql ？

更新:

甚至mysql -uYOU -p < myfile.sql &如果您有短暂的远程控制台 session

UPD2:

但最有效的方式是使用 mysqlimport正如 PinnyM 建议的那样。假设 name_same_as_table.txt是带有 DOS 样式 EOL 和制表符分隔字段的文本文件。字段的计数和类型必须与目标表中的相同。

mysqlimport -uYOU -p --lock-tables --lines-terminated-by="\r\n" --fields-terminated-by="\t" YOUR_DB name_same_as_table.txt