mysql - 高效地将大型 mysql2 结果写入 CSV

Question

我们正在我们刚刚构建的 CMS 中构建 CSV 导出机制，但我们无法在包含数百万行的结果集上保持内存不足。将 MySQL 的 1MM+ 行结果(通过 mysql2 gem)写入 CSV 的最佳方法是什么。如果有什么不同的话，我们使用的是 Ruby 1.9.3p194 和 MySQL 5.5。我们的主要目标是降低 Ruby 进程的内存消耗。

Answer 1

默认情况下，mysql2 会缓存它为其结果集创建的 ruby​​ 对象。如果你关闭它，那么内存消耗应该会大大减少。例如你可能会做

require 'mysql2'
client = Mysql2::Client.new(:host => "localhost", :username => "someuser")
client.query 'use some_db'

CSV.open('output.csv', 'w') do |csv|
  results = client.query("SELECT * FROM big_table")
  results.each(:cache_rows => false) do |row| 
    csv << [row['column_a'], row['column_b']]
  end
end