mysql - 从 Rails 应用程序将 csv 导入多个 mysql 数据库

Question

我有一个包含 78,000 条记录的 CSV 文件。我使用 smarter_csv ( https://github.com/tilo/smarter_csv ) 来解析 csv 文件。我想将它从我的 Rails 应用程序导入到 MySQL 数据库中。我有以下两个问题

1. 从我的 Rails 应用程序快速将如此大的数据集导入 MySQL 的最佳方法是什么？使用 resque 或 sidekiq 创建多个 worker 是个好主意吗？

2. 我需要将此数据插入存在于多个数据库中的给定表中。在 Rails 中，我有一个模型只与一个数据库对话。那么我如何扩展解决方案以与我的模型中的多个 mysql 数据库对话？

谢谢

Answer 1

一种方法是使用数据库应用程序本身的本地接口(interface)进行导入和导出；它将针对该特定目的进行优化。

对于 MySQL，mysqlimport提供该接口(interface)。请注意，导入也可以作为 SQL 语句完成，并且此可执行文件为底层 SQL 命令提供了一个更清晰的接口(interface)。

就实现而言，如果这是一个频繁的导入练习，sidekiq/resque/cron 作业是最好的方法。

[编辑]

上面提到的SQL命令是LOAD DATA INFILE正如其他答案所指出的那样。