ruby-on-rails - 从 excel 文件定期更新数据集的策略

Question

我有大约 10 个 excel 文件，这些文件由第三方制作，每晚更新，可以下载。它们包含约 10 个字段(所有短文本/日期)，每个字段约 10,000 到 100 万行。

我打算创建一个简单的 Web 应用程序，使人们能够搜索数据。我会将其托管在 AWS 或类似平台上。搜索负载会很轻，大约 1000 次搜索/天。

我必须假设所有记录每晚都是唯一的，需要完全替换在线数据集。

将数据从 excel 文件转换到数据库(如 Postgres)并在其上创建简单的搜索对我来说相对简单。

我的问题是如何处理每晚更新数据库所花费的时间？我是否应该创建两个数据库并让我的应用程序每隔一晚在它们之间交替？

处理这种情况的典型策略是什么？

我目前的技能组合是 Ruby/Rails/Postgres 构建和简单的网络应用程序。我一直故意对技术含糊其词，因为我对使用什么持开放态度。而且我很高兴学习新的东西来解决问题。

Answer 1

如果您在一个事务中进行所有更新，则不需要太多数据库 - 在您更新表时，人们总是看到“旧”版本，在 COMMIT 后不久，他们将看到所有"new"...