- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章G 行 EverDB 自动化混沌测试之路由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
EverDB是G行自有知识产权、与合作伙伴共研的一款基于中间件的分布式数据库产品。在分布式架构优势下实现了数据库的可扩展性,但与优势并存的是,分布式架构组件多,集群规模大,组件或节点间有着各种调用或相互依赖,使得系统异常事件的发生概率大幅攀升.
为尽早发现系统薄弱点,做出弥补改进,我们在分布式数据库测试中引入了混沌工程理论。通过在系统环境中模拟故障,来观察故障的发生对系统产生的影响,以期提前发现系统潜在的问题与风险,针对性的对系统进行加固防范,这种测试方法被称为混沌测试。本文为大家分享基于GitLab CI的自动化混沌测试实践.
为实现混沌测试的敏捷性、灵活性和自动化,我们选择了云原生技术方案,整个混沌测试运行于k8s平台,使用容器化技术Docker实现EverDB集群的容器化部署、Chaos Mesh实现故障注入、Argo workflow实现混沌测试流程编排、Prometheus+Grafana实现监控数据采集存储和可视化。它们在k8s上的部署及连接关系如下图1所示.
图1 EverDB混沌测试部署架构图 。
其中,Argo workflow是整个混沌测试流程的总调度单元,无论是集群拉起还是故障注入,任何一个任务环节都在Argo workflow中进行规范定义。Argo-server会依据我们定义的任务流程调度k8s资源(包括job,Statefulset,Chaos等).
当前,EverDB代码库托管于GitLab平台。EverDB每次发版前通过GitLab CI进行功能回归测试。为保持技术方案统一,我们将混沌测试集成到GitLab CI,由开发人员在代码提交后自动触发执行,实现了EverDB发版前的自动化混沌测试。同时,考虑bug触发的偶发性,混沌测试也被配置为周期性任务,通过重复实验验证数据库的可靠性.
图2 EverDB混沌测试流程设计 。
上图2即是EverDB的混沌测试流程设计,实现依托于GitLab和k8s两大平台,Chaos Mesh、Argo workflow两个关键技术组件。主要包括Gitlab CI配置、EverDB集群部署、测试用例拉起、故障注入、测试报告生成和可视化跟踪六个部分.
EverDB容器化集群及Chaos Mesh故障注入等组件均布置在k8s环境中,为了方便调度,我们将CI任务的执行器(GitLab CI runner)也部署到k8s环境中,由它在k8s环境中调起测试流程。GitLab CI runner任务如下图3.
图3 Gitlab CI任务流程 。
GitLab CI任务实际是执行了一个python脚本调起了一个混沌测试工作流。该脚本完成的工作有四部分:
参数解析处理,读取用户在CI任务中的设定的实验参数、配置文件并解析,
工作流模板渲染,利用第一步读取的配置参数,按照工作流模板渲染生成工作流,
工作流部署,将工作流部署到k8s平台运行,
持续检查工作流状态,将工作流的运行状态,成功与否反馈到CI平台.
源代码提交时触发CI任务进行EverDB集群部署,包括源代码编译、制作镜像上传至镜像仓库、使用最新镜像在k8s平台上部署EverDB集群。对于混沌测试周期性任务,则从镜像仓库中拉取最新的EverDB镜像进行部署.
图5 EverDB源码编译打包上传 。
EverDB集群部署完成后,CI任务会按照实验编排有序拉起测试用例。测试用例分为功能、性能和高可用三类,通过对比EverDB在正常运行态和故障注入后运行态的各项测试指标,验证数据库对各种异常场景的处理能力和健壮性.
。
测试用例 。 |
测试内容 。 |
|
压力测试 。 |
Sysbench 。 |
OLTP基准测试 。 |
数据库一致性测试 。 |
Bank 。 |
并发转账,验证测试完成后账户余额总数 。 |
Bank2 。 |
增加事务竞争度控制的Bank测试 。 |
|
Pbank 。 |
记录每次读写事务的操作以及返回结果 。 |
|
Tpc-c 。 |
五种事务模型并发执行 。 |
|
数据库隔离级别测试 。 |
Elle 。 |
并发读写寄存器,检查是否违反一致性模型 。 |
高可用测试 。 |
Hatest1-18 。 |
测试各种故障场景,验证数据库高可用性是否符合预期 。 |
表1 测试用例表 。
故障注入通过调用PingCAP开源的混沌测试工具Chaos Mesh实现。Chaos Mesh使用Kubernetes CRD来定义Chaos对象资源,在EverDB混沌测试中,可以直接调度这些Chaos资源,模拟简单的故障场景,也可以对这些基础Chaos资源进行编排,构造更复杂的故障场景.
图6 故障注入支持类型 。
测试用例在整个测试周期内持续运行,实现数据库能力测试方案的同时,也会采集测试指标数据并进行转储。测试结束后,测试报告生成模块会进行数据收集、分析、报告生成及归档。目前测试报告包括测试结论、环境参数和EverDB集群配置等信息,后续会随着混沌测试实践的深入,对结果信息进行丰富和优化.
图 7 测试结果收集 。
除了输出测试报告以外,我们也可以使用可视化的Dashboard、监控系统等工具,对整个混沌测试过程进行实时跟踪和观察.
图8 一个EverDB混沌测试工作流示例 。
EverDB通过引入混沌测试,已在可靠性提升上有了一定的测试成果,同时我们对混沌测试的未来也进行了思考与规划。在测试扩展方面,不断丰富测试用例、编排更复杂的故障场景、完善测试报告内容;通过建设混沌实验平台使混沌测试常态化、便捷化;同时建立混沌测试文化,使其在G行分布式架构转型中发挥更大的作用.
原文链接:https://mp.weixin.qq.com/s/wx4-avdLNLdoEUsLIp3X_g 。
最后此篇关于G 行 EverDB 自动化混沌测试之路的文章就讲到这里了,如果你想了解更多关于G 行 EverDB 自动化混沌测试之路的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我目前正在尝试让 g++ 工作,并查看 http://gcc.gnu.org/install/build.html ,我似乎找不到它在哪里说如何“执行编译器的 3 阶段 bootstrap ”。我在哪
James Powell 在他对即将举行的演示文稿的简短描述中说,他自豪地发明了最粗糙的 Python 单行代码之一: (None for g in g if (yield from g) and F
请告诉我我的证明是否正确 We have a connected graph, and specific vertex u in V(G). Suppose we compute the dfs tr
下面的test2和test3结果是不同的。 我对此感到困惑,因为它看起来像相同的逻辑,并且与linux bash ||逻辑不同。 $data = @( [PSCustomObject]@{St
我试图找到一个明确的 G 代码语法规范,而不是单个 G 代码的含义,我无处不在的规范,我的意思是详细的语法规范,目的是编写解析器。 我编写解析器没有问题,我只是在寻找语法规范,例如。我知道您不必总是为
我写了这个 mixin,但它循环了很多时间。你能帮我优化我的代码吗?或者你能建议一些其他的东西来获得想要的结果吗? dfgdfgsdfgsdf 最佳答案 希望这就是您要找的。 $spaces: (4,
默认情况下,g++ 似乎会省略未使用的类内定义方法的代码。示例 from my previous question : struct Foo { void bar() {} void baz(
是否可以将文件内容通过管道传送到 g++编译程序? 我想这样做是因为我想使用数据库中的文件而不是磁盘上的物理文件。可以通过我制作的 API 轻松检索文件内容。 例如,我想做这样的事情: g++ con
如何profile c++代码获取每行代码的调用次数和消耗时间,就像profile工具一样在 Matlab 中呢? 我尝试使用-fprofile-arcs之类的东西,但它只生成代码覆盖率报告,其中可以
如何在几行代码上禁用所有警告。可以使用 GCC 诊断功能禁用特定警告,但是否有针对所有警告的标志。我尝试了这个方法,但不起作用 #pragma GCC diagnostic push #pragma
我有一个链接到 opencv 2.2 的可执行文件。但是,我删除了 opencv 2.2 并安装了 opencv 2.3。 问题是,有没有办法在不重新编译整个源代码的情况下将这个可执行文件链接到新的共
在编译带有一些标志的以下文件时,是否可以让 g++ 显示错误? #include using namespace std; int main() { int arr[ 2 ]; cout
在学习 Haskell 时,我遇到了一个挑战,要找到两个函数 f 和 g,例如 f g 和 f 。 g 是等价的(并且是总计,因此像 f = undefined 或 f = (.) f 这样的东西不算
根据我的理解,Theta 位于 Big O 和 Omega 之间,但我看到了这个声明,但我无法理解为什么交集会出现在这里。我能否对 Θ(g(n)) = O(g(n)) ∩ Ω(g(n)) 获得数学和分
我需要为这个递归函数编写一个迭代函数。 int funcRec(int n){ if(n>1) { return 2*funcRec(n - 1) + 3*funcRec(n
我在 github repository 上有代码示例并在 travis-ci 上创建了一个构建便于复制。 最小的、完整的和可验证的例子 可能不是最小的,但我相信它足够小 它使用 boost.inte
编辑:我们将调用箭头 p纯如果存在这样的函数f即:p = arr f . 我试图更好地掌握 Haskell 中的 Arrows,我想弄清楚什么时候 f >>> (g &&& h) = (f >>> g
我有两个(或更多)函数定义为: val functionM: String => Option[Int] = s => Some(s.length) val functionM2: Int => Op
好像是的。任何直观或严肃的证据都值得赞赏。 最佳答案 没有。 我认为您的问题等同于:给定函数 f 和 g,f 是 O(g) 或 g 是 O(f) 是否总是正确的?这在 SE Computer Scie
如果我设法证明 f(n) = o(g(n))(小 o),那么这两个函数的总和 f( n) + g(n) 应该被“更大”的函数 g(n) 紧紧束缚。 然而,我在证明这一点时遇到了一些麻烦。 最佳答案 以
我是一名优秀的程序员,十分优秀!