elasticsearch - 让 elasticsearch 和 bigquery 协同工作

Question

我有一个 Web 应用程序，可以在浏览器中显示分析数据，并使用 Elasticsearch 作为后端数据存储。

一切都很酷，因为 elasticsearch 正在处理大约 1TB 的数据并且搜索查询速度非常快。

然后决定将来自所有服务的数据添加到应用程序中，接近 PB 字节，我们切换到 bigquery。[是的，我们放弃了 elasticsearch 并开始直接查询 bigquery]。

现在我的应用程序的用户提示他们的查询速度很慢，他们需要几秒钟(4~10~15)，而以前显示不到一秒钟。

自然地，这里的大量数据应该受到指责，但我想知道是否有办法将 elasticsearch 带回游戏中，让 elasticsearch 和 bigquery 很好地协同工作，这样我就可以从 bigquery 中获得存储的 petaytes，但仍然保留elasticsearch的光速搜索。

我确信我不是第一个面临这个问题的人，而是我相信我参加 bigquery 聚会有点晚了，所以我应该能够通过解决所有问题来获得延迟进入的好处。

如果您能指出正确的方向，请提前致谢。

Answer 1

这是我看到客户部署的常见模式:

使用 Elasticsearch 显示最近一天/一周的结果 - 任何适合 Elasticsearch 的 RAM 的内容。

将 BigQuery 用于其他一切。

通过这种方式，您的用户将获得 90% 的查询的亚秒级结果，并且如果 Elasticsearch 无法在其资源中找到答案，他们也可以去任何他们想去的地方。

我不确定您获取数据的用户界面是什么——但这就是需要部署此逻辑的地方。

(当然，随着技术的进步，预计连接和速度会有所改善)