ruby - 在 Rails 中创建数千条记录

Question

让我开始吧:我的应用程序处理礼品卡。当我们创建卡片时，它们必须有一个唯一的字符串，用户可以用它来兑换它。所以当有人订购我们的礼品卡时，比如零售商，我们需要制作很多新的卡片对象并将它们存储在数据库中。

考虑到这一点，我正在尝试让我的应用程序以多快的速度生成 100,000 张卡片。数据库专家，我不是，所以我需要有人来解释这个小现象:当我创建1000张卡片时，需要5秒。当我创建 100,000 张卡片时，应该需要 500 秒，对吧？

现在我知道你想看到什么，我正在使用的卡片创建方法，因为第一个假设是它变得越来越慢，因为它正在检查一堆卡片的唯一性，随着它的进行越来越多。但我可以向您展示我的佣金任务

desc "Creates cards for a retailer"
task :order_cards, [:number_of_cards, :value, :retailer_name] => :environment do |t, args|
  t = Time.now
  puts "Searching for retailer"
  @retailer = Retailer.find_by_name(args[:retailer_name])
  puts "Retailer found"
  puts "Generating codes"
  value = args[:value].to_i
  number_of_cards = args[:number_of_cards].to_i
  codes = []
  top_off_codes(codes, number_of_cards)
  while codes != codes.uniq
    codes.uniq!
    top_off_codes(codes, number_of_cards)
  end
  stored_codes = Card.all.collect do |c|
    c.code
  end
  while codes != (codes - stored_codes)
    codes -= stored_codes
    top_off_codes(codes, number_of_cards)
  end
  puts "Codes are unique and generated"
  puts "Creating bundle"
  @bundle = @retailer.bundles.create!(:value => value)
  puts "Bundle created"
  puts "Creating cards"
  @bundle.transaction do
    codes.each do |code|
      @bundle.cards.create!(:code => code)
    end
  end
  puts "Cards generated in #{Time.now - t}s"
end

def top_off_codes(codes, intended_number)
  (intended_number - codes.size).times do
    codes << ReadableRandom.get(CODE_LENGTH)
  end
end

我正在使用一个名为 readable_random 的 gem 作为唯一代码。因此，如果您通读所有这些代码，您会发现它在开始创建卡片之前进行了所有的唯一性测试。它还在运行时将状态更新写入屏幕，并且它总是在创建时停留一段时间。同时，它通过了唯一性测试。所以我对 stackoverflow 社区的问题是:为什么我添加更多卡片时数据库速度变慢了？为什么这不是关于每张卡时间的线性函数？我敢肯定答案很简单，我只是一个对数据存储一无所知的白痴。如果有人有任何建议，您会如何优化此方法，以及您认为它可以多快创建 100,000 张卡片？

(当我在图表上绘制我的时间并进行快速曲线拟合以获得我的直线公式时，我计算了用我当前的代码创建 100,000 张卡片需要多长时间，它说 5.5 小时。这可能是完全错误的，我不确定。但如果它停留在我曲线拟合的线上，它就会在附近。)

Answer 1

不是您问题的答案，而是关于如何使插入速度更快的一些建议:

• 使用 Ruby 的 Hash 消除重复 - 使用您的卡代码作为散列键，将它们添加到散列中，直到您的散列增长到所需的大小。您还可以使用类 Set相反(但我怀疑它是否比 Hash 快)。
• 使用批量插入 到数据库中，而不是一系列的 INSERT 查询。大多数 DBMS 都提供了这种可能性:创建包含新记录的文本文件，并告诉数据库导入它。这是 MySQL 的链接和 PostgreSQL .