- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章GO 实现高并发高可用分布式系统:Log微服务的实现由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
本文转载自微信公众号「Coding迪斯尼」,作者陈屹。转载本文请联系Coding迪斯尼公众号.
在大数据时代,具备高并发,高可用,理解微服务系统设计的人员需求很大,如果你想从事后台开发,在JD的描述中最常见的要求就是有所谓的“高并发”系统开发经验。但我发现在市面上并没有直接针对“高并发”,“高可用”的教程,你搜到的资料往往都是只言片语,要不就是阐述那些令人摸不着头脑的理论。但是技术的掌握必须从实践中来,我找了很久发现很少有指导人动手实践基于微服务的高并发系统开发,因此我希望结合自己的学习和实践经验跟大家分享一下这方面的技术,特别是要强调具体的动手实践来理解和掌握分布式系统设计的理论和技术.
所谓“微服务”其实没什么神奇的地方,它只不过是把我们原来聚合在一起的模块分解成多个独立的,基于服务器程序存在的形式,假设我们开发的后台系统分为日志,存储,业务逻辑,算法逻辑等模块,以前这些模块会聚合成一个整体形成一个复杂庞大的应用程序:
这种方式存在很多问题,第一是过多模块糅合在一起会使得系统设计过于复杂,因为模块直接存在各种逻辑耦合,这使得随着时间的推移,系统的开发和维护变得越来越困难。第二是系统越来越脆弱,只要其中一个模块发送错误或奔溃,整个系统可能就会垮塌。第三是可扩展性不强,系统很难通过硬件性能的增强而实现相应扩展.
要实现高并发,高可用,其基本思路就是将模块拆解,然后让他们成为独立运行的服务器程序,各个模块之间通过消息发送的方式完成配合:
这种模式的好处在于:1,模块之间解耦合,一个模块出问题对整个系统影响很小。2,可扩展,高可用,我们可以将模块部署到不同服务器上,当流量增加,我们只要简单的增加服务器数量就能使得系统的响应能力实现同等扩展。3,鲁棒性增强,由于模块能备份多个,其中一个模块出问题,请求可以重定向到其他同样模块,于是系统的可靠性能大大增强.
当然任何收益都有对应代价,分布式系统的设计开发相比于原来的聚合性系统会多出很多难点。例如负载均衡,服务发现,模块协商,共识达成等,分布式算法强调的就是这些问题的解决,但是理论总是抽象难以理解,倘若不能动手实现一个高可用高并发系统,你看多少理论都是雾里看花,越看越糊涂,所以我们必须通过动手实践来理解和掌握理论,首先我们从最简单的服务入手,那就是日志服务,我们将使用GO来实现.
首先创建根目录,可以命名为go_distributed_system,后面所有服务模块都实现在该目录下,然后创建子目录proglog,进去后我们再创建子目录internel/server/在这里我们实现日志服务的逻辑模块,首先在internel/server下面执行初始化命令:
这里开发的模块会被其他模块引用,所以我们需要创建mod文件。首先我们需要完成日志系统所需的底层数据结构,创建log.go文件,相应代码如下:
由于我们的日志服务将以http服务器程序的方式接收日志读写请求,因此多个读或写请求会同时执行,所以我们需要对records数组进行互斥操作,因此使用了互斥锁,在每次读取records数组前先获得锁,这样能防止服务在同时接收多个读写请求时破坏掉数据的一致性.
所有的日志读写请求会以http POST 和 GET的方式发起,数据通过json来封装,所以我们下面将创建一个http服务器对象,新建文件http.go,完成如下代码:
上面代码显示出“分布式”,“微服务”的特点。相应的功能代码以单独服务器的形式运行,通过网络来接收服务请求,这对应“分布式”,每个独立模块只完成一个特定任务,这就对应“微服务”,由于这种方式可以同时在不同的机器上运行,于是展示了“可扩展性”.
同时服务既然以http 服务器的形式存在,因此服务的请求和返回也要走Http形式,同时数据以Json方式进行封装。同时实现的逻辑很简单,但有日志写请求时,我们把请求解析成Record结构体后加入到队列末尾,当有读取日志的请求时,我们获得客户端发来的读取偏移,然后取出对应的记录,封装成json格式后返回给客户.
完成了服务器的代码后,我们需要将服务器运行起来,为了达到模块化的目的,我们把服务器的启动放置在另一个地方,在proglog根目录下创建cmd/server,在里面添加main.go
同时为了能够引用internal/server下面的模块,我们需要在cmd/server下先通过go mod init cmd/server进行初始化,然后在go.mod文件中添加如下一行:
然后执行命令 go mod tidy,这样本地模块就知道根据给定的目录转换去引用模块,最后使用go run main.go启动日志服务,现在我们要做的是测试服务器的可用性,我们同样在目录下创建server_test.go,然后编写测试代码,基本逻辑就是想服务器发送日志写请求,然后再发送读请求,并比较读到的数据是否和我们写入的数据一致,代码如下:
完成上面代码后,使用go test运行,结果如下图所示:
从结果看到,我们的测试能通过,也就是无论是向日志服务提交写入请求还是读取请求,所得的结果跟我们预想的一致。总结一下,本节我们设计了一个简单的JSON/HTTP 日志服务,它能够接收基于JSON的http写请求和读请求,后面我们还会研究基于gPRC技术的微服务开发技术. 。
代码获取 。
https://github.com/wycl16514/golang_distribute_system_log_service.git 。
原文链接:https://mp.weixin.qq.com/s/gE1-52dvqlzsnBevlT-kFQ 。
最后此篇关于GO 实现高并发高可用分布式系统:Log微服务的实现的文章就讲到这里了,如果你想了解更多关于GO 实现高并发高可用分布式系统:Log微服务的实现的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!