个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
56
4
版权说明： 本文章版权归本人及博客园共同所有，转载请在文章前标明原文出处( https://www.cnblogs.com/mikevictor07/p/17258452.html )，以下内容为个人理解，仅供参考.
。
1、前言 。
在监控领域，通常需要指标存储组件TSDB，目前开源的TSDB组件比较多，各个组件性能、高可用性、维护成本等等各有差异。本文不分析选型问题，重点讲解VictoriaMetrics（后面简称为vm）.
有兴趣的朋友建议结合源码进行分析，由于源码不断变更， 此分析基于 v1.80.0 ，后续版本变化理论上不会很大.
。
2、架构与能力 。
vm开源版本分为single-server（all in one）的单节点模式和cluster模式，单点模式合适本地调试或测试使用，生产使用的cluster模式分为vmselect、vminsert、vmstorage三个主要模块： 。
（1）vmselect ：查询模块，可无状态部署，客户端发送请求到查询模块后，查询模块会把请求分发到所有storage模块（由于没有元数据中心节点，固数据存储在哪无法感知，类似clickhouse的设计模式），得到原始的block数据后在select模块进行合并，再得到一个总结果.
（2）vminsert ：写入模块，可无状态部署，写入数据的请求发到此模块后，根据labels通过一定的hash计算出一个值，根据这个值确定此条数据发往哪个storage节点。因此相同的时间线会往同一个点节点发送，如果有某个时间线数据量特别大则会出现数据倾斜问题后某个storage写入和查询压力都会增大。在扩容货缩容后，由于节点的列表变更，固计算出的hash发往的storage节点也会变更.
（3）vmstorage ：存储模块，有状态，存储模块的移除须先从select和insert的配置中移除才不会有异常，此模块压力最大，非常消耗内存和IO，固推荐使用SSD和比较大的内存，宁愿用大规格的机器也不用量多但规格较小的机器（缓存不命中则会造成较多的IO，性能下降严重）.
。
。
。
。
3、vmstorage 存储模块 。
本文重点讲难度最高的 storage 模块，也只是属于个人理解， 如有错误或偏差，望指正 .
1、存储目录结构 。
。
/data 数据目录的逻辑结构如下:
（1）每个block只包括一个时间线，内部根据时间排序.
(2) 每个block最大容纳8000个sample，不同block可并发处理.
。
。
。
2、 写入流程与风险点 。
。
。
3、查询流程与风险点 。
。
。
。
。
4、数据过期机制 。
开源的cluster版本只能针对租户使用全局的统一过期时间， 收费的企业版才能支持租户单独设置过期时间 .
。
。
。
。
。
。
。
5、数据安全性保障 。
（1）VictoriaMetrics 并未使用WAL，而是直接写入类似SSTable的内存结构中，定时刷写磁盘，这是此模块能表现出极高的写入性能的一个原因， 如果是单副本则宕机时有可能照成最近的少量数据丢失， 如果是数据安全性要求极高的场景， 则建议开启双副本模式.
（2）双副本状态下，写入性能有一定的下降。即使 在双副本模式下，不能同时下线两台主机 ，如果同时下掉两台主机则数据会丢失，为保证数据安全，建议对存储层配置RAID1、RAID5或RAID10保证数据安全性，迁移时将数据从data目录直接迁移走即可在另一主机运行.
。
。
4、运维&监控能力、Downsample 。
（1）vm配置有grafana的监控模板，安装即可观测各个模块的性能，需要结合代码才能比较深入的了解各个指标的作用含义（不过最前面部分的CPU/内存总量的计算貌似不正确，未深究，有兴趣可以看看什么问题）.
（2）vm写入由于没有WAL，如果出现大量缓存失效则容易出现慢写入，甚至大量超时，所以写入建议前置一个MQ（如kafka）缓解写入异常放大，写入模块做一定的异常限流防止查询也出现大量超时.
（3）vm很吃内存和磁盘，磁盘随机IO很多，建议配置SSD.
（4）vm开源版不支持存储层的downsample（企业版才支持），故会查询原始数据后通过promQL配置采样减少输出点，但总的来说不是存储层的downsample查询时间范围过大时会有很大的压力（比如一个月以上），建议上报的数据 1分钟 一个点位减少数据量.
。
5、性能见解与总结 。
官方写了一些英文博文对比influxdb的性能，vm的表现优异，但建议实测（官方提供的总有一些趋向性）。从个人的测试数据上看表现确实很不错，数据不方便公开，建议自测.
总之，此款基于golang的开源TSDB性能表现很好，要能驾驭这组件需要比较多的功力， 不能单纯从表层去把它当做一个黑盒来运维，以免后续出现慢写入慢查询会变得手足无措 .
源码层面的分析可以搜索下其他文章，在此就不再分析代码段.
。
最后此篇关于TSDB-VictoriaMetrics技术原理浅析的文章就讲到这里了,如果你想了解更多关于TSDB-VictoriaMetrics技术原理浅析的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
56
4
0
很多朋友或许都有这个疑问，一个网站域名和网站的排名有关系吗?今天本文就从三个方面分析网站的域名与网站的排名有没有关系，希望对大家有一定的帮助。 1、全拼双拼域名 首先，我们要知道在这一点百
什么是进程 当一个程序进入内存中运行起来它就变为一个进程。因此，进程就是一个处于运行状态的程序。同时进程具有独立功能，进程是操作系统进行资源分配和调度的独立单位。 什么是线程 线程是进
最近几年，互联网络竞争异常激烈，各个企业为了增加业绩，都在网络销售中下足了功夫。要确定网站发展的方向，必须给自己的网站制定好一个发展目标，有了目标才能更好的发展。不管
一.基础知识准备： 1.层的原则： （1）每一层以接口方式供上层调用。 （2）上层只能调用下层。 （3）依赖分为松散交互和严格交互两种。 2.业务逻辑分类： （1）应
编程时一门技术，更是一门艺术 简单工厂模式利用面向对象方式通过继承、封装、多态把程序的耦合度降低，设计模式使得程序更加灵活，容易修改，易于复用。 下面是服务器计算器代码：
对于策略模式的理解：当一个业务有多种需求时候，在某个时候需要使用不同的方式来计算结果。这时候不同的方式可以理解为不同的策略来解决同样的问题。 例如：商场收银系统计算价格，1：正常计算 2：商品打折计
随着 Kubernetes 在企业中应用的越来越广泛和普及，越来越多的公司在生产环境中运维多个集群。本文主要讲述一些关于多集群 Kubernetes 的思考，包括为什么选择多集群，多集群的好处以
Kubelet 出于对节点的保护，允许在节点资源不足的情况下，开启对节点上 Pod 进行驱逐的功能。最近对 Kubelet 的驱逐机制有所研究，发现其中有很多值得学习的地方，总结下来
以下分析不针对任何快递公司，纯属实说。 申通快递在快递行业中速度与费用都属于中等的水平，在国内也分布有很多投递点，一般地区都可以投递到;顺丰在国内是速度最快的快递公司之一，一般来说隔天就能够到，其
概述 流(streams)是PHP4.3版本引入的一个特性，主要是为了统一文件、sockets以及其他类似资源的工作方法。PHP4.3距今已经有很长时间了，但是很多程序员似乎都不能正确使用PHP中
Pre 很早在看 Jesse 的 Asp.net Core快速入门 的课程的时候就了解到了在Asp .net core中,如果添加的Json配置被更改了,是支持自动重载配置的,作为一名有着严重&q
之前对closure一知半解,在网上也找不到一篇文章能把它说清楚,今天好像第一次对它有点清晰的了解 了,写个BLOG记念一下 lua的函数是一种 First-Class Value 的东西, 到底
1、什么是默认方法，为什么要有默认方法 简单说，就是接口可以有实现方法，而且不需要实现类去实现其方法。只需在方法名前面加个default关键字即可。 为什么要有这个特性？首先，之前的接口是个双
信息数据传输的安全一直都是个很重要的话题，从刚开始当程序员时错以为MD5、SHA1这些哈希算法就是加密算法，到后来慢慢接触对称加密、非对称加密这些概念，再到对接各种大开发平台接口的时候看到他们通
前言 2021年，vanilla-extract 作为黑马登顶了 css-in-js 满意度榜首(虽然使用率仅为1%)，号称是一个类型安全、高度兼容 TS 场景的库，国内相关讨论还很少，稍微看
（一）响应式数据 1. 简单例子 从最简单的数据绑定开始，在 Vue 2.0 中，我们这样将一个数据绑定到模板的指定位置： 在组件创建参数的 data 构造函数中返回一个用来绑定的数据对象，其
我是一名优秀的程序员,十分优秀！