ruby-on-rails - RoR:从PostgreSQL迁移到Elastic

Question

我们希望将数据库的一部分从PostgreSQL转移到Elastic:基本上，我们想将三个表-Properties，Listings和Addresses合并到单个文档中。

我找不到任何标准工具，可能，因为我们有Ruby on Rails应用程序，所以最简单，最可靠的方法是编写一个迁移，该迁移将仅对模型进行迭代，将它们组合为单个文档并保存到Elastic中。

任务似乎并不复杂，但由于这是我第一次使用Elastic，因此我想向社区咨询。

谢谢。

Answer 1

我最接近的是JDBC importer。但是，我认为编写自己的脚本可能同样快。

有一个postgres函数row_to_json，它将结果行转换为JSON，然后可以将其发布到elasticsearch中。我所知道的没有什么可以自动为您完成的。假设它不是数十亿行，我将坚持您的计划，即编写一个简短的脚本来运行您的查询，并将HTTP将结果发布到elasticsearch中。

您需要确定两件事:索引名称和文档类型。

一些注意事项:

关系数据库(如postgres)与最终一致的文档存储(如elasticsearch)之间的一致性模型非常不同。您应该意识到这些差异以及它们的缺点。

您可能希望对elasticsearch中的数据进行非规范化，因为没有很棒的连接方法。