elasticsearch - 用于分析和存储应用程序日志的 BigQuery 与 Elasticsearch

Question

我正在研究使用 BigQuery 来深入了解应用程序日志文件的优点。日志由 Java 和 C# 应用程序生成，其中大部分在基于云的 VM 上。我很想知道其他人是否已经这样做了，以及 BigQuery 与 ElasticSearch/Logstash/Kibana 的相对优点。

BigQuery 的优势似乎在于它可以处理大量数据，而 ELK 解决方案似乎更适合日志文件的非结构化性质，尤其是当它们来自不同系统时。

我还想在仪表板上显示信息。 Kibana 似乎非常适合这一点。使用 Google 解决方案(使用 Google 表格等)创建仪表板有多容易？

想法、用例？

Answer 1

2017 年更新:GCP 正式支持 Elastic

• https://www.elastic.co/blog/announcing-the-ga-of-elastic-cloud-hosted-elasticsearch-on-google-cloud-platform-gcp

---

Elasticsearch 和 BigQuery 配合得很好。 BigQuery 将尽可能多地获取您拥有的数据，并在几秒钟内以您想要的任何方式查询它。同时，经过良好调整的 Elasticsearch 安装将在不到一秒钟内为您提供答案，但仅限于对有限数据量的某些查询。

请参阅 Ory 在 Rounds 发表的这篇文章，其中详细说明了他们如何使用这两种方法:

https://medium.com/@oryband/collecting-user-data-and-usage-ffa84c4dba34

两个顶级标题总结了他们这样做的原因:

• 使用 Elasticsearch 的实时数据
• 使用 Google BigQuery 处理大数据