gpt4 book ai didi

Grafana 快照 - 所需的数据是从源存储还是获取?

转载 作者:行者123 更新时间:2023-12-02 03:26:42 33 4
gpt4 key购买 nike

我们想使用 Grafana 来显示测量数据。现在,我们的测量设置创建了大量数据并保存在文件中。我们按原样保留文件,并直接使用 Spark(“数据湖”方法)对其进行后处理。

我们现在想要创建一些可视化,我想在运行 Spark 和 HDFS(存储文件的位置)的集群上设置 Cassandra。将有一个服务(或 Spark-Streaming 作业)将选定的 channel 从测量数据文件转储到 Kafka 主题,另一个作业将它们放入 Cassandra 中。我使用这种方法是因为我们还有其他流处理作业也可以进行即时计算。

我现在考虑编写一个小型 REST 服务,使 Grafana 的简单 JSON 数据源可用于提取数据并将其可视化。到目前为止一切顺利,但由于我们收集的数据量巨大(有时每分钟约 300MiB),Cassandra 数据库应该只保存最近几个小时的数据。

我现在的问题是:如果有人查看数据,发现一些有趣的东西并创建仪表板或面板的快照(或发生特定事件并自动拍摄快照),并且原始数据从 Cassandra 中删除,快照还能看吗?数据是一起保存的吗?还是快照只保存元数据,重新查询数据源?

最佳答案

根据Grafana docs :

Dashboard snapshotA dashboard snapshot is an instant way to share an interactive dashboard publicly. When created, we strip sensitive data like queries (metric, template and annotation) and panel links, leaving only the visible metric data and series names embedded into your dashboard. Dashboard snapshots can be accessed by anyone who has the link and can reach the URL.

因此,数据保存在快照内,不再依赖于原始数据。据我了解本地快照存储在grafana db中。在您的数据规模下,使用外部存储(webdav 等)进行快照可能是更好的选择。

关于Grafana 快照 - 所需的数据是从源存储还是获取?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53187166/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com