Kustomize生产实战-注入监控APMAgent-6ren

Kustomize生产实战-注入监控APMAgent

转载作者：我是一只小鸟更新时间：2023-03-15 14:31:50

25

4

Kustomize 简介

Kubernetes 原生配置管理工具 , 它自定义引入了一种无需模板的方式来定制应用程序配置，从而简化了对现成应用程序的使用。目前，在 kubectl 中内置了，通过 apply -k 即可使用.

Kustomize 遍历 Kubernetes 清单以添加、删除或更新配置选项，而无需分叉。它既可以作为独立的二进制文件使用，也可以作为 kubectl 的原生特性使用.

Kustomize 优势

📢 完全声明式的配置定制方法
🍸 原生构建进 kubectl 中
🎶 管理任意数量的独特定制的 Kubernetes 配置
☸ 作为独立的二进制文件提供，用于扩展和集成到其他服务
📃 定制使用的每个工件都是纯 YAML，并且可以被验证和处理
🔁 Kustomize 支持 fork/modify/rebase 工作流
🔧 GitOps 工具（如 ArgoCD) 对其的完美支持

Kustomize 可以做什么

📚️ Reference

👉️ URL: https://mp.weixin.qq.com/s/gmwkoqZpKbq1hM0B8XxQNw 在 Kubernetes 中我们使用 YAML 文件来声明我们的应用应该如何部署到底层的集群中，这些 YAML 文件中包含应用定义、治理需要的标签、日志、安全上下文定义、资源依赖关系等，当我们应用扩展到成百上千个 Pod 以后，管理这些 YAML 文件就会成为一场噩梦了.

最典型的就是，有很多项目要管理，同时又有多套不同的部署环境：开发环境、测试环境、UAT 环境、生产环境。甚至可能有不同的公有云 Kubernetes 发行版。那么每一套环境都需要一套各种各样的 YAML 文件，但是它们直接只有部分细节有差异。比如：镜像 Tag，服务 Name，Label，有没有存储等.

如果全是手动，维护工作量非常巨大，同时也容易出错.

Kustomize 相比 Helm，更适合解决这种场景的痛点：有一个基础（base）的模板管理一个项目的所有基础 YAML，更多高级的需求通过 overlay 来实现叠加覆盖.

另外还有一类典型场景，就是融合来自不同用户的配置数据（例如来自 devops/SRE 和 developers). 。

同时也可以结合 helm, 进行一些更高级的配置.

今天就以一个典型场景为例：生产环境 Deployment 自动注入商业（如：AppDynamics) 或开源 (SkyWalking/pinpoint) 的开箱即用的 Java Agent. 。

实战 - 通过 Kustomize 注入监控 APM Agent

背景概述

以 Java 为例，这里的 APM Agent 包是商业（如：AppDynamics) 或开源 (SkyWalking/pinpoint) 产品提供的开箱即用的 Agent jar 包.

在 Kubernetes 场景中，出于以下几点考虑:

和应用镜像分离；
复用

Agent jar 包做成了一个通用镜像，通过 init container 方式拷贝到运行中的应用容器中，并通过配置环境变量进行参数的自动设置.

✍️ 笔者注:

其实商业 APM 都有 Helm 或 Operator 实现自动化安装配置的功能，但是实际使用中体验不佳，不太适合我们的实际场景.

通过 Kustomize 注入监控 APM Agent 步骤

步骤简述如下：（以 AppDynamics Java Agent 为例）。

获取原始的 Deployment yaml 文件（通过 kubectl 和 kubectl neat 插件）
通过 Kustomize 对每个 Deployment 通过 patches 实现以下步骤：
1. 注入 initContainers : appd-agent-attach-java , 该 initContainers 有：
  1. volumeMounts : 把 java agent jar 包挂载到 volume 实现共享；
2. 在 Deployment -> 应用自己的 container 中，加入以下参数：
  1. volumeMounts : 把 java agent jar 包挂载到 volume 实现共享；
  2. 加入各种 AppD Java agent 需要的 env 信息；
3. volumes 通过 tmpdir 实现共享。

Kustomize 目录结构

目录结构如下:

                        
                          inject-appd-agent/
├── base
│   └── kustomization.yaml      
├── overlays
    └── prod
        ├── appd_agent.yaml   
        └── kustomization.yaml

其中，后续所有需要注入 APM Agent 的应用的 Deployment, 都放在 base 目录中.

`base/kustomization.yaml`

                        
                          resources:
  - ./foo-deployment.yml

🐾注意：这里提一句，目前的 resources 是不支持文件通配符 (file glob) 匹配的，具体 issue 可以见这里:

Enable globbing in "resources" field of kustomization.yaml · Issue #3205 · kubernetes-sigs/kustomize (github.com)

但是有个临时解决方案，就是通过执行命令： kustomize edit add resource base/*.yml 运行后会遍历 file blob, 将结果一个个加到 kustomization.yaml 中.

运行后的文件可能是这样:

                        
                          resources:
  - ./foo-deployment.yml
  - ./bar-deployment.yml
  - ./a-deployment.yml
  - ./b-deployment.yml
  - ./c-deployment.yml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization

`overlays/prod/kustomization.yaml`

                        
                          bases:
  - ../../base
# patchesStrategicMerge:
#   - appd_agent.yaml
patches:
  - path: appd_agent.yaml
    target:
      kind: Deployment

🐾 注意:

这里没用 patchesStrategicMerge , 而是用了 patches . 目的就是为了批量 patch. 上面 YAML 的意思是，将 appd_agent.yaml 应用于所有的 Deployment manifests 中.

`overlays/prod/appd_agent.yaml`

具体内容如下:

                        
                          apiVersion: apps/v1
kind: Deployment
metadata:
  name: not-important
spec:
  template:
    spec:
      containers:
        - name: app
          volumeMounts:
            - mountPath: /opt/appdynamics-java
              name: appd-agent-repo-java
          env:
            - name: APPDYNAMICS_AGENT_ACCOUNT_ACCESS_KEY
              value: xxxxxxxxxxxxxxxxxxxxxxxxxxxx
            - name: APPDYNAMICS_CONTROLLER_HOST_NAME
              value: 192.168.1.10
            - name: APPDYNAMICS_CONTROLLER_PORT
              value: '8090'
            - name: APPDYNAMICS_CONTROLLER_SSL_ENABLED
              value: 'false'
            - name: APPDYNAMICS_AGENT_ACCOUNT_NAME
              value: my_account
            - name: APPDYNAMICS_AGENT_APPLICATION_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: APPDYNAMICS_AGENT_TIER_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: APPDYNAMICS_AGENT_REUSE_NODE_NAME_PREFIX
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: JAVA_TOOL_OPTIONS
              value:
                ' -Dappdynamics.agent.accountAccessKey=$(APPDYNAMICS_AGENT_ACCOUNT_ACCESS_KEY)
                -Dappdynamics.agent.reuse.nodeName=true -Dappdynamics.socket.collection.bci.enable=true
                -javaagent:/opt/appdynamics-java/javaagent.jar'
            - name: APPDYNAMICS_NETVIZ_AGENT_HOST
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.hostIP
            - name: APPDYNAMICS_NETVIZ_AGENT_PORT
              value: '3892'
      initContainers:
        - command:
            - cp
            - -r
            - /opt/appdynamics/.
            - /opt/appdynamics-java
          image: appdynamics/appdynamics-java-agent:1.8-21.11.3.33314
          imagePullPolicy: IfNotPresent
          name: appd-agent-attach-java
          resources:
            limits:
              cpu: 200m
              memory: 75M
            requests:
              cpu: 100m
              memory: 50M
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          volumeMounts:
            - mountPath: /opt/appdynamics-java
              name: appd-agent-repo-java
      volumes:
        - name: appd-agent-repo-java

上面内容就不详细说明了，具体可以参考这篇文章，了解 APM Agent 注入的几种思路:

Best Practices for Instrumenting Containers with AppDynamics Agents - Application Performance Monitoring Blog | AppDynamics

🐾 注意：实践中，上面内容有几点需要注意的:

spec/template/spec/containers/name 这里往往是应用的名字，如 foo , 如果 appd_agent.yaml 的内容要正确地 patch, 也需要写上同样的 container name; 这对于一个应用来说不是什么问题，但是对于批量自动化/GitOps 来说，就非常不方便.
1. 我之前想用 Kustomize 中的 nameReference 来实现，但是没搞出来，有知道的可以教教我
2. ✔️ 20220706 11:00 update : Kustomize 出于安全考虑, 是严格按照 metadata.name 进行 merge 的, 所以通过 Kustomize 无法解决; 但是可以通过 yq (类似jq, 但是针对 yaml)来解决, 示例命令为: i=foo yq -i '.spec.template.spec.containers[0].name="strenv(i)"' appd_agent.yaml

之前的环境变量，手动部署的时候如这个:

                            
                              - name: APPDYNAMICS_AGENT_APPLICATION_NAME
  value: foo

直接写死，这样不便于批量自动化/GitOps. 解决办法就是利用 Kubernetes env 的 valueFrom 能力。改为如下就可以了.

                            
                              valueFrom:
  fieldRef:
    fieldPath: metadata.name

appd_agent.yaml 的 Deployment name 是无所谓的，因为仍会是被 patch 清单的名字；另外 appd_agent.yaml 也不要带 namespace , 方便批量自动化/GitOps, 可以适应所有 NameSpace. 。

自动化脚本

最后，自动化脚本 demo 如下：(假设脚本位于 /inject-appd-agent/scripts/ 目录下) 。

                        
                          #!/bin/bash

# USAGE:
# bash inject-appd-agent.sh default

# NAMESPACE=default
NAMESPACE=$1
# only get deploy name
deployments=$(kubectl get deploy --no-headers=true -o custom-columns=:.metadata.name -n "${NAMESPACE}")

for i in ${deployments}; do
    # get deploy yaml
    cd ../base && kubectl get deploy -n "${NAMESPACE}" "${i}" -o yaml | kubectl neat >./"${i}.yml"
    # add the deploy yaml to base
    kustomize edit add resource ./"${i}.yml"
    # change appd_agent.yaml .spec.template.spec.containers[0].name
    #   = <the deploy name>
    cd ../overlays/prod && DEPLOY="${i}" yq -i '.spec.template.spec.containers[0].name = strenv(DEPLOY)' ./appd_agent.yaml
    # dry run
    # kustomize build . >../../examples/output/"${i}.yml"

    # deploy rollout
    kubectl apply -k .

    # remove the deploy yaml resource from base
    cd ../../base && kustomize edit remove resource ./"${i}.yml"
done

# clean up
kustomize edit remove resource ./*.yml
cd ../overlays/prod && yq -i '.spec.template.spec.containers[0].name = "app"' ./appd_agent.yaml

运行上面脚本，即可实现对所有 Deployment 自动注入 AppD Java Agent, 并 Rollout 生效.

🎉🎉🎉 。

📚️ Reference

Kustomize - Kubernetes native configuration management
K8S 实用工具之四 - kubectl 实用插件 - 东风微鸣技术博客 (ewhisper.cn)

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写. 。

最后此篇关于Kustomize生产实战-注入监控APMAgent的文章就讲到这里了,如果你想了解更多关于Kustomize生产实战-注入监控APMAgent的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

25

4

0

文章推荐：震惊，一行MD5居然让小伙伴都回不了家！！！

文章推荐：在昇腾平台上对TensorFlow网络进行性能调优

文章推荐： Mybatis数据库驱动

javascript - AngularJS 测试 - 注入(inject) -> 模块 -> 注入(inject)
我正在尝试测试依赖于其他服务 authService 的服务 documentViewer angular .module('someModule') .service('docu
php - 我还能做些什么来防止 XSS 注入(inject)和 SQL 注入(inject)？
如果我的网站上线(不要认为它会，目前它只是一个学习练习)。我一直在使用 mysql_real_escape_string();来自 POST、SERVER 和 GET 的数据。另外，我一直在使用 i
php - SQL 注入(inject)不适用于 SQL 注入(inject)易受攻击的表单？
我有以下代码，它容易受到 SQL 注入(inject)的攻击(我认为？): $IDquery = mysqli_query($connection, "SELECT `ID` FROM users W
javascript - 尝试将 CSS 注入(inject)网页而不是将 CSS 注入(inject)自身的扩展
我一直在自学如何创建扩展，以期将它们用于 CSS 注入(inject)(以及最终以 CSS 为载体的 SVG 注入(inject)，但那是以后的问题)。这是我当前的代码: list .json {
java - 通过 Qualifier 注入(inject) null 而不是对象进行 Spring 注入(inject)
这个简单的代码应该通过 Java Spring 实现一个简单的工厂。然而结果是空指针，因为 Human 对象没有被注入(inject)对象(所以它保持空)。我做错了什么？谢谢配置 @Config
c# - 如何在允许良性 SQL 注入(inject)的同时防止恶意 SQL 注入(inject)攻击？
我正在编写一个 ASP.NET MVC4 应用程序，它最终会动态构建一个 SQL SELECT 语句，以便稍后存储和执行。动态 SQL 的结构由用户配置以用户友好的方式确定，具有标准复选框、下拉列表和
ruby-on-rails - 正则表达式检测基本 SQL 注入(inject)，但不能作为防止 SQL 注入(inject)的手段
首先让我说我是我为确保 SQL 注入(inject)攻击失败而采取的措施的知己。所有 SQL 查询值都是通过事件记录准备语句完成的，所有运算符(如果不是硬编码)都是通过数字白名单系统完成的。这意味着如
mysql - 通过 SQLmap 进行 SQL 注入(inject) - UNION ALL 注入(inject)如何工作？
这是 SQL 映射声称可注入(inject)的负载: user=-5305' UNION ALL SELECT NULL,CONCAT(0x716b6b7071,0x4f5577454f76734
android - 如何通过 Android/Kotlin App 上的 Koin 注入(inject)在 BaseActivity 中初始化/注入(inject)通用 ViewModel
我正在使用 Kotlin 和 Android 架构组件(ViewModel、LiveData)构建一个新的 Android 应用程序的架构，并且我还使用 Koin 作为我的依赖注入(inject)提供
java - 预期的？注入(inject)生产者的 CDI 请求作用域 bean 注入(inject)依赖 bean 给出 WELD-001303 : No active contexts
假设 RequestScope 处于 Activity 状态(使用 cdi-unit 的 @InRequestScope) 给定 package at.joma.stackoverflow.cdi;
asp.net-mvc - 根据查询字符串/派生 Controller 注入(inject)不同的存储库，并根据 Controller 类型/ASP.NET MVC 注入(inject)存储库
我有一个搜索表单，可以在不同的提供商中搜索。我从拥有一个基本 Controller 开始 public SearchController : Controller { protected r
26、SQLite 注入
SQLite 注入如果您的站点允许用户通过网页输入，并将输入内容插入到 SQLite 数据库中，这个时候您就面临着一个被称为 SQL 注入的安全问题。本章节将向您讲解如何防止这种情况的发生，确保脚
注入(inject)拦截
我可以从什么 dll 中获得 Intercept 的扩展？我从 http://github.com/danielmarbach/ninject.extensions.interception 添加了
ninject - 注入(inject)具有多个构造函数的类
使用 NInject 解析具有多个构造函数的类似乎不起作用。 public class Class1 : IClass { public Class1(int param) {...} public
angular - 注入(inject)类数组
我有一个 MetaManager 类: @Injectable() export class MetaManager{ constructor(private handlers:Handler
angularjs - 注入(inject)的依赖项在单元测试中未定义
我是 Angular 的新手，我不太清楚依赖注入(inject)是如何工作的。我的问题是我有依赖于服务 B 的服务 A，但是当我将服务 A 注入(inject)我的测试服务 B 时，服务 B 变得未定
android - 注入(inject)工作类时无法实例化工作人员
我正在为我的项目使用 android 应用程序启动、刀柄和空间。我在尝试排队工作时遇到错误: com.test E/WM-WorkerFactory: Could not instantiate co
Ruby 注入(inject)菊花链？
我不确定这是什么糖语法，但让我向您展示问题所在。 def factors num (1..num).select {|n| num % n == 0} end def mutual_factors
Scalaz 注入(inject)左右使用所需的最小导入
简单的问题，我已经看过这个了:Managing imports in Scalaz7 ，但我不知道如何最小化注入(inject) right和 left方法到我的对象中以构造 \/ 的实例. 我确实尝
Aurelia-注入(inject)函数
在我的 Aurelia SPA 中，我有一些我想在不同模块中使用的功能。它依赖于调用时给出的参数和单例的参数。有没有办法创建一个导出函数，我可以将我的 Auth 单例注入(inject)其中，而不必在

首页

博学

6Ren·AI

商城