- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
原文出处:改造 Kubernetes 自定义调度器 | Jayden's Blog (jaydenchang.top) 。
Kubernetes 默认调度器在调度 Pod 时并不关心特殊资源例如磁盘、GPU 等,因此突发奇想来改造调度器,在翻阅官方调度器框架[1]、调度器配置[2]和参考大佬的文章[3]后,自己也来尝试改写一下.
相关软件版本:
集群内有 1 个 master 和 3 个 node.
项目结构如下:
.
├── Dockerfile
├── deployment.yaml
├── go.mod
├── go.sum
├── main.go
├── pkg
│ ├── cpu
│ │ └── cputraffic.go
│ ├── disk
│ │ └── disktraffic.go
│ ├── diskspace
│ │ └── diskspacetraffic.go
│ ├── memory
│ │ └── memorytraffic.go
│ ├── network
│ │ └── networktraffic.go
│ └── prometheus.go
├── scheduler
├── scheduler.conf
└── scheduler.yaml
下面以构建内存插件为例.
定义插件名称、变量和结构体 。
const MemoryPlugin = "MemoryTraffic"
var _ = framework.ScorePlugin(&MemoryTraffic{})
type MemoryTraffic struct {
prometheus *pkg.PrometheusHandle
handle framework.FrameworkHandle
}
下面来实现 framework.FrameworkHandle 的接口.
先定义插件初始化入口 。
func New(plArgs runtime.Object, h framework.FrameworkHandle) (framework.Plugin, error) {
args := &MemoryTrafficArgs{}
if err := fruntime.DecodeInto(plArgs, args); err != nil {
return nil, err
}
klog.Infof("[MemoryTraffic] args received. Device: %s; TimeRange: %d, Address: %s", args.DeviceName, args.TimeRange, args.IP)
return &MemoryTraffic{
handle: h,
prometheus: pkg.NewProme(args.IP, args.DeviceName, time.Minute*time.Duration(args.TimeRange)),
}, nil
}
实现 Score 接口,Score 进行初步打分 。
func (n *MemoryTraffic) Score(ctx context.Context, state *framework.CycleState, p *corev1.Pod, nodeName string) (int64, *framework.Status) {
nodeBandwidth, err := n.prometheus.MemoryGetGauge(nodeName)
if err != nil {
return 0, framework.NewStatus(framework.Error, fmt.Sprintf("error getting node bandwidth measure: %s", err))
}
bandWidth := int64(nodeBandwidth.Value)
klog.Infof("[MemoryTraffic] node '%s' bandwidth: %v", nodeName, bandWidth)
return bandWidth, nil
}
实现 NormalizeScore,对上一步 Score 的打分进行修正 。
func (n *MemoryTraffic) NormalizeScore(ctx context.Context, state *framework.CycleState, pod *corev1.Pod, scores framework.NodeScoreList) *framework.Status {
var higherScore int64
for _, node := range scores {
if higherScore < node.Score {
higherScore = node.Score
}
}
// 计算公式为,满分 - (当前内存使用 / 总内存 * 100)
// 公式的计算结果为,内存使用率越大的节点,分数越低
for i, node := range scores {
scores[i].Score = node.Score * 100 / higherScore
klog.Infof("[MemoryTraffic] Nodes final score: %v", scores[i].Score)
}
klog.Infof("[MemoryTraffic] Nodes final score: %v", scores)
return nil
}
配置插件名称和返回 ScoreExtension 。
func (n *MemoryTraffic) Name() string {
return MemoryPlugin
}
// 如果返回framework.ScoreExtensions 就需要实现framework.ScoreExtensions
func (n *MemoryTraffic) ScoreExtensions() framework.ScoreExtensions {
return n
}
首先来编写查询内存可用率的 PromQL 。
const memoryMeasureQueryTemplate = ` (avg_over_time(node_memory_MemAvailable_bytes[30m]) / avg_over_time(node_memory_MemTotal_bytes[30m])) * 100 * on(instance) group_left(nodename) (node_uname_info{nodename="%s"})`
然后来声明 PrometheusHandle 。
type PrometheusHandle struct {
deviceName string
timeRange time.Duration
ip string
client v1.API
}
另外在插件部分也要声明查询 Prometheus 的参数结构体 。
type MemoryTrafficArgs struct {
IP string `json:"ip"`
DeviceName string `json:"deviceName"`
TimeRange int `json:"timeRange"`
}
编写初始化 Prometheus 插件入口 。
func NewProme(ip, deviceName string, timeRace time.Duration) *PrometheusHandle {
client, err := api.NewClient(api.Config{Address: ip})
if err != nil {
klog.Fatalf("[Prometheus Plugin] FatalError creating prometheus client: %s", err.Error())
}
return &PrometheusHandle{
deviceName: deviceName,
ip: ip,
timeRange: timeRace,
client: v1.NewAPI(client),
}
}
编写通用查询接口,可供其他类型资源查询 。
func (p *PrometheusHandle) query(promQL string) (model.Value, error) {
results, warnings, err := p.client.Query(context.Background(), promQL, time.Now())
if len(warnings) > 0 {
klog.Warningf("[Prometheus Query Plugin] Warnings: %v\n", warnings)
}
return results, err
}
获取内存可用率接口 。
func (p *PrometheusHandle) MemoryGetGauge(node string) (*model.Sample, error) {
value, err := p.query(fmt.Sprintf(memoryMeasureQueryTemplate, node))
fmt.Println(fmt.Sprintf(memoryMeasureQueryTemplate, node))
if err != nil {
return nil, fmt.Errorf("[MemoryTraffic Plugin] Error querying prometheus: %w", err)
}
nodeMeasure := value.(model.Vector)
if len(nodeMeasure) != 1 {
return nil, fmt.Errorf("[MemoryTraffic Plugin] Invalid response, expected 1 value, got %d", len(nodeMeasure))
}
return nodeMeasure[0], nil
}
然后在程序入口里启用插件并执行 。
func main() {
rand.Seed(time.Now().UnixNano())
command := app.NewSchedulerCommand(
app.WithPlugin(network.NetworkPlugin, network.New),
app.WithPlugin(disk.DiskPlugin, disk.New),
app.WithPlugin(diskspace.DiskSpacePlugin, diskspace.New),
app.WithPlugin(cpu.CPUPlugin, cpu.New),
app.WithPlugin(memory.MemoryPlugin, memory.New),
)
// 对于外部注册一个plugin
// command := app.NewSchedulerCommand(
// app.WithPlugin("example-plugin1", ExamplePlugin1.New))
if err := command.Execute(); err != nil {
fmt.Fprintf(os.Stderr, "%v\n", err)
os.Exit(1)
}
}
为方便观察,这里使用二进制方式运行,准备运行时的配置文件 。
apiVersion: kubescheduler.config.k8s.io/v1beta1
kind: KubeSchedulerConfiguration
clientConnection:
kubeconfig: /etc/kubernetes/scheduler.conf
profiles:
- schedulerName: custom-scheduler
plugins:
score:
enabled:
- name: "CPUTraffic"
weight: 3
- name: "MemoryTraffic"
weight: 4
- name: "DiskSpaceTraffic"
weight: 3
- name: "NetworkTraffic"
weight: 2
disabled:
- name: "*"
pluginConfig:
- name: "NetworkTraffic"
args:
ip: "http://172.19.32.140:9090"
deviceName: "eth0"
timeRange: 60
- name: "CPUTraffic"
args:
ip: "http://172.19.32.140:9090"
deviceName: "eth0"
timeRange: 0
- name: "MemoryTraffic"
args:
ip: "http://172.19.32.140:9090"
deviceName: "eth0"
timeRange: 0
- name: "DiskSpaceTraffic"
args:
ip: "http://172.19.32.140:9090"
deviceName: "eth0"
timeRange: 0
kubeconfig 处为 master 节点的 scheduler.conf,以实际路径为准,内包含集群的证书哈希,ip 为部署 Prometheus 节点的 ip,端口为 Promenade 配置中对外暴露的端口.
将二进制文件和 scheduler.yaml 放至 master 同一目录下运行:
./scheduler --logtostderr=true \
--address=127.0.0.1 \
--v=6 \
--config=`pwd`/scheduler.yaml \
--kubeconfig="/etc/kubernetes/scheduler.conf" \
准备一个要部署的 Pod,使用指定的调度器名称 。
apiVersion: apps/v1
kind: Deployment
metadata:
name: gin
namespace: default
labels:
app: gin
spec:
replicas: 2
selector:
matchLabels:
app: gin
template:
metadata:
labels:
app: gin
spec:
schedulerName: my-custom-scheduler # 使用自定义调度器
containers:
- name: gin
image: jaydenchang/k8s_test:latest
imagePullPolicy: Always
command: ["./app"]
ports:
- containerPort: 9999
protocol: TCP
最后的可以查看日志,部分日志如下:
I0808 17:32:35.138289 27131 memorytraffic.go:83] [MemoryTraffic] node 'node1' bandwidth: %!s(int64=2680340)
I0808 17:32:35.138763 27131 memorytraffic.go:70] [MemoryTraffic] Nodes final score: [{node1 2680340} {node2 0}]
I0808 17:32:35.138851 27131 memorytraffic.go:70] [MemoryTraffic] Nodes final score: [{node1 71} {node2 0}]
I0808 17:32:35.138911 27131 memorytraffic.go:73] [MemoryTraffic] Nodes final score: [{node1 71} {node2 0}]
I0808 17:32:35.139565 27131 default_binder.go:51] Attempting to bind default/go-deployment-66878c4885-b4b7k to node1
I0808 17:32:35.141114 27131 eventhandlers.go:225] add event for scheduled pod default/go-deployment-66878c4885-b4b7k
I0808 17:32:35.141714 27131 eventhandlers.go:205] delete event for unscheduled pod default/go-deployment-66878c4885-b4b7k
I0808 17:32:35.143504 27131 scheduler.go:609] "Successfully bound pod to node" pod="default/go-deployment-66878c4885-b4b7k" node="no
de1" evaluatedNodes=2 feasibleNodes=2
I0808 17:32:35.104540 27131 scheduler.go:609] "Successfully bound pod to node" pod="default/go-deployment-66878c4885-b4b7k" node="no
de1" evaluatedNodes=2 feasibleNodes=2
Scheduling Framework | Kubernetes ↩︎ 。
Scheduler Configuration | Kubernetes ↩︎ 。
基于Prometheus的Kubernetes网络调度器 | Cylon's Collection (oomkill.com) ↩︎ 。
最后此篇关于改造Kubernetes自定义调度器的文章就讲到这里了,如果你想了解更多关于改造Kubernetes自定义调度器的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我之前让 dll 注入(inject)器变得简单,但我有 Windows 7,我用 C# 和 C++ 做了它,它工作得很好!但是现在当我在 Windows 8 中尝试相同的代码时,它似乎没有以正确的方
我正在尝试制作一个名为 core-splitter 的元素,该元素在 1.0 中已弃用,因为它在我们的项目中起着关键作用。 如果您不知道 core-splitter 的作用,我可以提供一个简短的描述。
我有几个不同的蜘蛛,想一次运行所有它们。基于 this和 this ,我可以在同一个进程中运行多个蜘蛛。但是,我不知道如何设计一个信号系统来在所有蜘蛛都完成后停止 react 器。 我试过了: cra
有没有办法在达到特定条件时停止扭曲 react 器。例如,如果一个变量被设置为某个值,那么 react 器应该停止吗? 最佳答案 理想情况下,您不会将变量设置为一个值并停止 react 器,而是调用
https://code.angularjs.org/1.0.0rc9/angular-1.0.0rc9.js 上面的链接定义了外部js文件,我不知道Angular-1.0.0rc9.js的注入(in
我正在尝试运行一个函数并将服务注入(inject)其中。我认为这可以使用 $injector 轻松完成.所以我尝试了以下(简化示例): angular.injector().invoke( [ "$q
在 google Guice 中,我可以使用函数 createInjector 创建基于多个模块的注入(inject)器。 因为我使用 GWT.create 在 GoogleGin 中实例化注入(in
我在 ASP.NET Core 1.1 解决方案中使用配置绑定(bind)。基本上,我在“ConfigureServices Startup”部分中有一些用于绑定(bind)的简单代码,如下所示: s
我在 Spring MVC 中设置 initBinder 时遇到一些问题。我有一个 ModelAttribute,它有一个有时会显示的字段。 public class Model { privat
我正在尝试通过jquery post发布knockoutjs View 模型 var $form = $('#barcodeTemplate form'); var data = ko.toJS(vm
如何为包含多态对象集合的复杂模型编写自定义模型绑定(bind)程序? 我有下一个模型结构: public class CustomAttributeValueViewModel { publi
您好,我正在尝试实现我在 this article 中找到的扩展方法对于简单的注入(inject)器,因为它不支持开箱即用的特定构造函数的注册。 根据这篇文章,我需要用一个假的委托(delegate)
你好,我想自动注册我的依赖项。 我现在拥有的是: public interface IRepository where T : class public interface IFolderReposi
我正在使用 Jasmine 测试一些 Angular.js 代码。为此,我需要一个 Angular 注入(inject)器: var injector = angular.injector(['ng'
我正在使用 Matlab 代码生成器。不可能包含代码风格指南。这就是为什么我正在寻找一个工具来“ reshape ”、重命名和重新格式化生成的代码,根据我的: 功能横幅约定 文件横幅约定 命名约定 等
这个问题在这里已经有了答案: Where and why do I have to put the "template" and "typename" keywords? (8 个答案) 关闭 8
我开发了一种工具,可以更改某些程序的外观。为此,我需要在某些进程中注入(inject)一个 dll。 现在我基本上使用这个 approach .问题通常是人们无法注入(inject) dll,因为他们
我想使用 swing、spring 和 hibernate 编写一个 java 应用程序。 我想使用数据绑定(bind)器用 bean 的值填充 gui,并且我还希望它反射(reflect) gui
我有这段代码,当两个蜘蛛完成后,程序仍在运行。 #!C:\Python27\python.exe from twisted.internet import reactor from scrapy.cr
要点是 Spring Batch (v2) 测试框架具有带有 @Autowired 注释的 JobLauncherTestUtils.setJob。我们的测试套件有多个 Job 类提供者。因为这个类不
我是一名优秀的程序员,十分优秀!