ruby - 如何在 Ruby 中处理大文件？

Question

我对编程还很陌生，所以请多多关照。我正在尝试从图书馆数据库 .dat 文件中提取 IBSN 编号。我编写了有效的代码，但它只搜索了 180MB 文件的大约一半。如何调整它以搜索整个文件？或者我如何编写一个程序将 dat 文件拆分成可管理的 block ？

编辑:这是我的代码:

export = File.new("resultsfinal.txt","w+")

File.open("bibrec2.dat").each do |line|
  line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x|
    export.puts x
  end
  line.scan(/[a]{1}[1234567890xX]{13}/) do |x|
    export.puts x
  end
end

Answer 1

您应该 try catch 异常以检查问题是否真的在读取 block 上。

只是想让你知道，我已经用类似的语法制作了一个脚本来毫无问题地搜索 ~8GB 的​​真正大文件。

export = File.new("resultsfinal.txt","w+")

File.open("bibrec2.dat").each do |line|
  begin
    line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x|
      export.puts x
    end
    line.scan(/[a]{1}[1234567890xX]{13}/) do |x|
      export.puts x
    end
  rescue
    puts "Problem while adding the result"
  end
end