ruby - 将大型数据库表导出到 csv 文件时流式传输到 ruby​​ 中的文件

Question

我使用一些 ruby​​ 脚本和 mysql2 gem 从 mysql 数据库中导出以下内容

require 'csv'
require 'mysql2'

begin
    db = Mysql2::Client.new( :host => ".", :username => "xyz", :password => 'xyz', :database => 'xyz')

    results = db.query 'select * from mytable'

    CSV.open("C:/tmp/mytable.csv", "w") do |csv|
        csv << results.fields

        results.each do |row|
            csv << row.values
        end
    end
end

这适用于小表，但我认为我应该为大表做不同的事情。我在这里可能是错的，但它似乎将整个表格读出到内存中，然后一次将其全部写入。如果我有一个包含数千万行的大表，我想不断地流式传输到文件。

我该怎么做呢？

我试着对一个大约有 1000 万行的表运行它并得到以下结果

[FATAL] failed to allocate memory

---

我找到了 this , 如果有效，将报告

result = client.query("SELECT * FROM really_big_Table", :stream => true)

Answer 1

答案确实是这样，问题是读取数据库表

results = db.query( 'select * from mytable',  :stream => true, :cache_rows => false )

csv 的写入是异步完成的