ruby - 为什么处理我的 CSV 文件需要很长时间才能完成？

Question

我有一个 90GB 的 CSV 文件，我需要从中提取一些列，然后将字符串更改为整数并将其存储在新的 CSV 中。我编写了代码并在一个大约 100,000 行的小型样本 CSV 文件上对其进行了测试。它运行良好，所以我继续将原始 CSV 文件输入到程序中。知道要一晚上才能完成，早上起来发现程序还没有完成，处理后的文件只有1GB左右，真的很小，我预计到时候至少有10GB它完成了，考虑到整数比字符串占用更少的空间，而且我从原始 CSV 的 50 多列中只提取了 10 列。

我修改了代码，分别进行提取和处理。我发现，如果不进行处理，提取将在 10-11 小时内完成，从而生成大小为 38GB 的​​ CSV。然后我对提取的CSV进行了处理，运行了18个小时还没有完成，生成的CSV文件大小只有1.5GB左右。

我的处理代码是这样的:

require 'rubygems'
require 'mechanize'
require 'csv'
require 'time'

CSV.open('FormattedColumns.csv', "wb") do |csv|
  csv << ["_time", "article_category_id", "articleID", "date_wday", "datetime", "lat", "lon", "platform", "push", "udid"]
  CSV.foreach('ExtractedColumns.csv', :headers=>true) do |row|

    time=Time.parse(row[0]).to_i

    article_category_id=row[1].to_i

    articleID=row[2].to_i

    if row[3]=='sunday'
      weekday=7
    elsif row[3]=='saturday'
      weekday=6
    elsif row[3]=='friday'
      weekday=5
    elsif row[3]=='thursday'
      weekday=4
    elsif row[3]=='wednesday'
      weekday=3
    elsif row[3]=='tuesday'
      weekday=2
    elsif row[3]=='monday'
      weekday=1
    end     

    datetime = row[4].to_i

    lat = row[5].to_f

    lon = row[6].to_f

    if row[7]=='Android'
      platform=2
    elsif row[7]=='iPhone'
      platform=1
    end 

    if row[8]=='Y'
      push=1
    elsif row[8]=='N'
      push=0
    end

    unless udids.include?(row[9])
      udids << row[9]
    end
    udid = udids.index(row[9]) + 1

    array = [time, article_category_id, articleID, weekday, datetime, lat, lon, platform, push, udid]
    csv<<array
  end
end

这可能是什么原因？

据我所知，这是一个简单的程序，并且对于 100,000 行的较小示例程序，当我分别尝试提取和处理时，它们都在大约 1-2 分钟内完成。

Answer 1

您可能想查看 smarter_csv gem，它可以处理 CSV 数据 block (多行)并将它们交给异步 worker ，例如Sidekiq 工作人员。

对于写入输出，每个工作人员将每个批处理的输出片段组装到单独的文件中并稍后将它们连接起来可能会更快。