elasticsearch - 使用 Google Big Query 进行 Elasticsearch

Question

我在 elasticsearch 引擎中加载了事件日志，并使用 Kibana 将其可视化。我的事件日志实际上存储在 Google Big Query 表中。目前我正在将 json 文件转储到 Google 存储桶并将其下载到本地驱动器。然后使用 logstash，我将 json 文件从本地驱动器移动到 Elasticsearch 引擎。

现在，我正在尝试通过在 google 大查询和 Elasticsearch 之间建立连接来自动化该过程。根据我的阅读，我了解到有一个输出连接器将数据从 Elasticsearch 发送到 Google 大查询，但反之亦然。只是想知道我是否应该将 json 文件上传到 kubernete 集群，然后在集群和 Elastic 搜索引擎之间建立连接。

如能提供这方面的帮助，我们将不胜感激。

Answer 1

虽然这个解决方案可能有点复杂，但我建议您使用一些解决方案 Google Storage Connector与 ES-Hadoop .这两个非常成熟，并被许多大公司用于生产级。

在 Kubernetes 上的大量 pod 上的 Logstash 将非常昂贵，而且 - 我认为 - 不是一种非常好的、有弹性和可扩展的方法。