- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
本文主要是讲如何建立有效的环境、程序、配置、SQL变更和管理平台.
几天前和一个朋友聊到环境、程序的配置变更,SQL变更和整个上线流程。之前我们在这块也做了很多,有做的好的也有做的一般的,借机都总结下来,希望对你有用.
通常情况下,我们最关注的也是最重要的部分是应用的变更,就是程序的部署上线发布这块,因为这部分最高频,每天上线很多次的情况都可以发生,所以我们在平台建设的时候也是优先做好这部分,但是对于环境、程序配置和SQL变更部分,通常情况下会优先级低一些,不是这些不重要,只是暂时通过手工操作或者人力顶一下这部分的任务,最终这些问题是要通过平台自动化来解决的.
底层物理环境配置 。
很久以前,计算资源成本高昂,导致机器匮乏,很难做到「开发-测试-预发-生产」物理环境配置的统一。线上用高配的物理机,线下用低配的过保机器,甚至用虚拟机,这都是很常见的做法。不同环境之间物理资源的不同加大了环境配置的管理难度。比如一个Java 程序需要 4G 的内存,这在线上没问题,但是线下的虚拟机可能 1G 的内存都没有。同样的配置在两个环境中需要小心维护否则程序就崩了,所以经常有很多文档记录这些「魔法」骚操作,然后在操作环境时拿出来翻一翻.
现在随着计算资源价格下降、云计算快速普及,尤其是 k8s 的出现,大大降低了保持「开发-测试-预发-生产」环境一致性的成本,同时操作起来简便易行。所以工作中,我们要「尽量」保持这些底层基础设施的统一,这是做好上层很多工作的基础.
基础设施即代码(Infrastructure as Code, IaC)的出现把环境配置的问题变得更简单。IaC解决的最大问题是基础设施配置和管理的自动化。之前通过手工操作来配置和管理的服务器、网络等基础设施通过 IaC 把基础设施配置和管理自动化,大幅提升效率和可靠性.
之前Google是把 IaC 放到代码仓库中,SRE管共性的配置,研发小伙伴来管理每个服务独特的配置部分,这也是一种方法。但是鉴于国情,我还是觉得让 SRE 或者 Ops 来管更合适,这样也有利于划清职责边界.
我建议 1)梳理全公司的编译和运行时环境需求 2)把基础环境的固化到有版本控制的 Dockerfile中,3)然后研发效能平台引用这些基础镜像,最终达到编译和运行时受控.
编译时配置 。
在编译源代码前,我们通常会有一些编译时配置,要么写到配置文件中,要么通过传参的方式传进去,然后在编译时打到二进制程序里面。通常情况下编译时配置信息放到编译脚本中固化下来是个不错的最佳实践。比如我们经常遇到的 build.xml, pom.xml, build.gradle等。通常这些构建脚本是研发小伙伴会开发调试时会用到,研发管理平台通常也会用到这些构建脚本,但是有时也会传入一些其它的参数。此时研发效能管理平台就会自己记录一份当时运行的命令,以便后面排查之需,比如保障制品的可重现.
所以在这里,我们可以看到研发小伙伴会把大部分编译时配置放到构建脚本中,存在于代码仓库(repo)中和源代码一起进行版本管理;研发效能平台部署环境时,会从平台上传入参数进行「干净的」编译,此时平台会记录一份编译时的配置。这两处的编译时配置信息都很重要.
运行时配置 。
一旦我们的程序或者软件部署完成,通常在启动时还需要读取配置文件或者读取数据库加载一些动态的配置信息,这就是运行时配置。运行时配置是可以动态调整的,无需重新打包和部署.
有的公司会把运行时配置也放到代码仓库中一起管理,尤其当配置信息比较少,修改比较容易时。但是一旦部署上去想要修改,就要把运行的实例(机器/容器)中的运行时配置都需要修改一遍,虽然有ansible,saltstack,puppet,但操作也会麻烦、容易出错且会导致安全问题。通常情况下研发小伙伴是没有手动修改生产环境配置的权限。如果想一次更改多个服务多个实例的配置,这就会是个大问题。随着服务的增多,配置的复杂,我们就会遇到如下的问题:
为了解决以上问题,通常公司会引入配置中心来解决,比如apollo,disconf,nacos,SpringCloud Config等。这些都是市面上比较常见的配置中心选型.
。
数据库配置,数据库变更管理 。
我们在上线应用的时候,通常也伴随SQL变更,主要的需求 。
可以试试Yearning/Themis/inceptior这三个工具,我们也是在开源工具的基础上进行了二次开发,主要是打通了用户、权限和应用部分。之前申请个DB 还需要在数百个DB中去寻找,现在只要登录就会列出自己有权限的 DB。但这部分还没有完全整合到我们的流水线/发布单/上线单体系中去,这是一个需要继续发力的点.
统一变更流程和平台 。
「生产->测试」环境之间的配置变更,通常由QA小伙伴来负责,比如把生产环境的表结构应用到测试环境.
「开发->测试->预发->生产」这样的配置晋级流程通常由研发的小伙伴来完成。具体的情况说明,可以参考我《研发效能之环境管理》的这篇文章。做好变更风险管控就好.
我个人觉得SQL 上线,配置文件上线,前端 CDN 都应该整合到应用上线流程中去,而不是单独有一个平台来承载。这样数据打通、角色和权限打通、流程打通,统一的体验和流程,解决了各种系统间跳转带来的问题,提高了产研运各方的整体效能和工作体感,尤其是对于中小公司来说.
。
我的相关文章:
研发效能之环境管理 互联网公司研发效能/工程效率团队建设和规划 DevOps|研发效能+项目经理PMO devops|中小公司不要做研发效能度量 研发效能负责人/研发效能1号位|DevOps负责人 。
最后此篇关于DevOps|研发效能之环境、程序、配置、SQL变更管理的文章就讲到这里了,如果你想了解更多关于DevOps|研发效能之环境、程序、配置、SQL变更管理的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我会尽可能地解释我正在做的事情,以获得最好的可能的建议/解决方案。这一切都是在 java 中完成的。 我的客户有一个基于 SWING 的桌面应用程序,它将使用 WebStart 加载。我被指派为用户帐
看来这个page包含 Azure CLI 支持的与 Azure API 管理相关的所有功能。但它没有展示如何使用 Azure CLI 管理用户、产品、证书、订阅和 API 等实体。 Azure CLI
我设置了一个 Hadoop 1.2.x 版本,双节点集群。第一节点(NameNode、Jobtracker)和第二节点(Secondary NameNode、Datanode、TaskTracker)
对于内容驱动的网站,设计好坏的关键是关系型数据库。在这个教程中,我们已经使用了MySQL关系型数据库管理系统(RDBMS)建立了我们的数据库。对于网站的开发者来说,MySQL是一个较受欢迎的选择,这
在尝试运行MariaDB之前,首先确定其当前状态,运行或关闭。 有三个选项用于启动和停止MariaDB – 运行mysqld(MariaDB脚本)。 运行mysqld_safe启动脚本。
我在管理界面中遇到 StackedInlines 前缀的问题。我会尝试发布所有必要的代码。 models.py(简要) ##### Base classes class BaseItem(models
我是新来的。到目前为止,我一直在使用 MVC 模型并使用基本的 session 管理模型,即在 session 中存储一个 token 并检查每个请求。 我正在尝试对lift做同样的事情,但我的 se
我在 win 服务中使用 NHiberante。有时我得到 System.ObjectDisposedException: Session is closed! Object name: 'ISess
我正在尝试使用 HtmlUnit 登录 Facebook 页面并查看其 HTML 内容。我正在尝试通过 HtmlUnit 填写登录凭据,但在单击提交按钮时我没有看到正在执行的 session 。 在
我正在为一个相当大的项目开发一个带有 reactjs 的前端,该项目有两个主要接口(interface)。主站点的前端和管理员的前端。 我应该将它们开发为两个不同的项目还是 reactjs 中的一个项
短版 我有一个使用插件基础结构的应用程序。插件具有可配置的属性,可帮助它们了解如何完成工作。插件按配置文件分组以定义如何完成任务,配置文件存储在由 DataContractSerializer 序列化
如何管理 iPhone 应用程序中的用户 session ?我在应用程序的第一页上从用户那里获取了用户名和密码。用户可以随时注销。如何像其他 Web 应用程序一样在 iPhone 应用程序中存储 se
我正在使用 Azure API 管理,其中包含第三方论坛 (Discourse) 的链接。 api管理提供的默认登录系统用于注册用户。我想知道是否可以对 api 管理和论坛使用单点登录,这样用户就不必
我正在使用 Wordpress 建立一个网站,并且我想利用它的 session 。但我没有找到任何插件,甚至文档。在我开始破解之前有什么建议或引用吗? 注意:我问的是 WP 是否以及如何使用标准 PH
我已阅读《Azure in Action》一书中的以下内容:“在 Windows Azure 中,状态服务器或进程外 session 状态提供程序,不支持” 谁能告诉我为什么不支持这个。他们在书中没有
我有一个内联表单集,我想排除一些模型对象在表单集中显示。 例如。模型 B 具有模型 A 的外键,因此它是 1:n(A 对象有许多 B 对象)关系。现在在 A 管理编辑页面上,我已经获得了 B 的内联。
我正在开发一个基于 session 的项目。我在想,与银行类似,我会创建一张支票并为用户提供阻止 session 超时的能力。 我正在考虑创建一个 setInterval 来检查需要身份验证的空白页面
我正在为一位拥有 Magento 商店的客户工作。里面塞满了产品,但这些产品的名称有点乱。他并没有坚持一种命名约定,而是多年来使用了不同的约定。因此,每当他使用“管理”->“管理产品”部分中的“名称”
我使用大约十几个 XSLT 文件来提供大量输出格式。目前,用户必须知道导出的文件格式的扩展名,例如RTF、HTML、TXT。 我还想使用参数来允许更多选项。如果我可以将元数据嵌入 XSL 文件本身,那
我已阅读《Azure in Action》一书中的以下内容:“在 Windows Azure 中,状态服务器或进程外 session 状态提供程序,不支持” 谁能告诉我为什么不支持这个。他们在书中没有
我是一名优秀的程序员,十分优秀!