ruby-on-rails - 在 REST API 中加载大数据 - ruby​​ on rails

Question

我是 Ruby on Rails 的新手。我将 PostgreSQL 数据库与 Ruby 和 Rails 3.2.13 一起使用。我们已经在 PostgreSQL 数据库中创建了 200K 行记录。我需要将相同的 200K 记录发送到另一个独立的 windows 应用程序。我为此创建了一个 ROR REST API。目前 REST API 需要很长时间来处理数据，并在 3 分钟后超时。

我一次发送 1000 条记录，这样 API 将发送 1 - 1000，然后发送 1001 - 2000，依此类推。这是在避免超时。这是处理批量数据的好方法吗。

ROR 是否有任何内置函数来处理此类操作。请帮助我。

谢谢

Answer 1

简而言之，不，我认为这不是传输批量数据的好方法。

抛开安全问题(这本身就是不这样做的原因)，您需要处理数据/模式一致性、连接可靠性、数据类型完整性、解析和清理字符串、序列化/反序列化等……听起来像我很头疼。

数据库之间的批量数据传输不是 Rails 的职责/关注点。我会坚持完全在后端执行此操作，并设置一个新数据库作为主数据库的复制从数据库。