mysql - 数据从MySQL实时迁移到elasticsearch？

Question

我在 MySQL 中以不同数据库及其各自的表的形式存在大量数据。它们都是相互关联的。但是当我必须对数据进行分析时，我必须创建不同的脚本，将数据组合、合并并显示结果，但这也需要很多时间和精力。我喜欢 elasticsearch，因为它的速度和通过 kibana 的数据可视化，因此我决定将我的整个 MySQL 数据实时移动到 elasticsearch，并将数据也保存在 MySQL 中。但我想要一个可扩展的策略，以及将数据迁移到 elasticsearch 的过程。

建议完成这项工作的最佳工具或方法。

谢谢。

Answer 1

1. 在 Elasticsearch 2.x 之前，您可以编写自己的 Elasticsearch _river 插件，然后将其安装到 elasticsearch 中。您可以控制您希望 _river 提取您用脚本处理过的上述数据的频率(注意:不真正推荐这样做)。

2. 您还可以使用自己喜欢的队列消息代理工具，例如 ActiveMQ将您的数据推送到 elasticsearch

3. 如果您想要完全控制以满足实时迁移数据的需要，您还可以编写一个简单的应用程序来使用 elasticsearch REST 端点，只需通过 REST 写入即可。您甚至可以进行批量 POST

4. 使用任何 Elasticsearch 工具，例如 beat , logstash擅长将几乎任何类型的数据传输到 elasticsearch

有关将数据转换为平面文件的其他替代方法，或者如果您想保持关系，请参阅此帖子 here