- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
本文为从零开始写 Docker 系列第十四篇,实现容器间的 rootfs 隔离,使得多个容器间互不影响.
完整代码见:https://github.com/lixd/mydocker 欢迎 Star 。
推荐阅读以下文章对 docker 基本实现有一个大致认识:
开发环境如下:
root@mydocker:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 20.04.2 LTS
Release: 20.04
Codename: focal
root@mydocker:~# uname -r
5.4.0-74-generic
注意:需要使用 root 用户 。
虽然在前面通过 pivotRoot、overlayfs 实现了容器和宿主机的 rootfs 隔离,但是多个容器还是共用的一个rootfs,多容器之间会互相影响.
之前容器都是用的宿主机上的 /root/merged 目录作为自己的 rootfs,当启动多个容器时可写层会互相影响.
本篇通过为每个容器单独准备一个 rootfs 来实现隔离,使得我们多个容器之间互不影响.
为了实现该功能,需要做以下工作:
这三处调整实际上都是对宿主机上容器 rootfs 目录的调整,把 rootfs 从原来的 /root/merged 调整为 /var/lib/mydocker/overlay2/{containerID}/merged ,这样实现容器之间的隔离.
docker 也是使用的var/lib/docker/overlay2/{containerID}/merged 目录作为 rootfs.可以使用docker inspect {containerID} -f '{{json .GraphDriver}}' 命令查看.
之前 commit 命令直接把/root/merged 目录压缩为 tar 作为镜像,现在需要根据 containerID 以/var/lib/mydocker/overlay2/{containerID}/merged 格式来拼接目录.
首先,在 main_command.go 文件中修改 commitCommand,将用户输入参数改为 containerID 和 imageName,并调用 commitContainer 方法实现 commit 操作.
var commitCommand = cli.Command{
Name: "commit",
Usage: "commit container to image,e.g. mydocker commit 123456789 myimage",
Action: func(context *cli.Context) error {
if len(context.Args()) < 2 {
return fmt.Errorf("missing container name and image name")
}
containerID := context.Args().Get(0)
imageName := context.Args().Get(1)
return commitContainer(containerID, imageName)
},
}
然后 commitContainer 中调整一下压缩路径,根据 containerID 拼接要压缩的目录 。
var ErrImageAlreadyExists = errors.New("Image Already Exists")
func commitContainer(containerID, imageName string) error {
mntPath := utils.GetMerged(containerID)
imageTar := utils.GetImage(imageName)
exists, err := utils.PathExists(imageTar)
if err != nil {
return errors.WithMessagef(err, "check is image [%s/%s] exist failed", imageName, imageTar)
}
if exists {
return ErrImageAlreadyExists
}
log.Infof("commitContainer imageTar:%s", imageTar)
if _, err = exec.Command("tar", "-czf", imageTar, "-C", mntPath, ".").CombinedOutput(); err != nil {
return errors.WithMessagef(err, "tar folder %s failed", mntPath)
}
return nil
}
run 命令改动比较大, 需要把涉及到目录的都进行调整.
改动点:
runCommand 命令中添加 imageName 作为第一个参数输入 。
var runCommand = cli.Command{
Action: func(context *cli.Context) error {
// 省略其他内容
// get image name
imageName := cmdArray[0]
cmdArray = cmdArray[1:]
tty := context.Bool("it")
detach := context.Bool("d")
// Run方法增加对应参数
Run(tty, cmdArray, resConf, volume, containerName, imageName)
return nil
},
}
相关方法都要增加 imageName 参数:
func Run(tty bool, comArray []string, res *subsystems.ResourceConfig, volume, containerName, imageName string) {
containerId := container.GenerateContainerID() // 生成 10 位容器 id
// start container
parent, writePipe := container.NewParentProcess(tty, volume, containerId, imageName)
if parent == nil {
log.Errorf("New parent process error")
return
}
if err := parent.Start(); err != nil {
log.Errorf("Run parent.Start err:%v", err)
return
}
// record container info
err := container.RecordContainerInfo(parent.Process.Pid, comArray, containerName, containerId)
if err != nil {
log.Errorf("Record container info error %v", err)
return
}
// 创建cgroup manager, 并通过调用set和apply设置资源限制并使限制在容器上生效
cgroupManager := cgroups.NewCgroupManager("mydocker-cgroup")
defer cgroupManager.Destroy()
_ = cgroupManager.Set(res)
_ = cgroupManager.Apply(parent.Process.Pid, res)
// 在子进程创建后才能通过pipe来发送参数
sendInitCommand(comArray, writePipe)
if tty { // 如果是tty,那么父进程等待,就是前台运行,否则就是跳过,实现后台运行
_ = parent.Wait()
container.DeleteWorkSpace(containerId, volume)
container.DeleteContainerInfo(containerId)
}
}
rootfs 相关目录定义成变量,并提供相应的 Get 方法,调用时指定 containerID 即可拿到对应目录.
// 容器相关目录
const (
ImagePath = "/var/lib/mydocker/image/"
RootPath = "/var/lib/mydocker/overlay2/"
lowerDirFormat = RootPath + "%s/lower"
upperDirFormat = RootPath + "%s/upper"
workDirFormat = RootPath + "%s/work"
mergedDirFormat = RootPath + "%s/merged"
overlayFSFormat = "lowerdir=%s,upperdir=%s,workdir=%s"
)
func GetRoot(containerID string) string { return RootPath + containerID }
func GetImage(imageName string) string { return fmt.Sprintf("%s%s.tar", ImagePath, imageName) }
func GetLower(containerID string) string {
return fmt.Sprintf(lowerDirFormat, containerID)
}
func GetUpper(containerID string) string {
return fmt.Sprintf(upperDirFormat, containerID)
}
func GetWorker(containerID string) string {
return fmt.Sprintf(workDirFormat, containerID)
}
func GetMerged(containerID string) string { return fmt.Sprintf(mergedDirFormat, containerID) }
func GetOverlayFSDirs(lower, upper, worker string) string {
return fmt.Sprintf(overlayFSFormat, lower, upper, worker)
}
另外则是 NewWorkSpace 和 DeleteWorkSpace 这两个方法以及其内部的一系列方法涉及到的路径全改成动态的,根据 containerID 进行拼接:
这里贴一下 NewWorkSpace 和 DeleteWorkSpace 两个方法:
// NewWorkSpace Create an Overlay2 filesystem as container root workspace
/*
1)创建lower层
2)创建upper、worker层
3)创建merged目录并挂载overlayFS
4)如果有指定volume则挂载volume
*/
func NewWorkSpace(volume, imageName, containerName string) {
err := createLower(imageName)
if err != nil {
log.Errorf("createLower err:%v", err)
return
}
err = createUpperWorker(containerName)
if err != nil {
log.Errorf("createUpperWorker err:%v", err)
return
}
err = mountOverlayFS(containerName)
if err != nil {
log.Errorf("mountOverlayFS err:%v", err)
return
}
if volume != "" {
volumeURLs := volumeUrlExtract(volume)
if len(volumeURLs) == 2 && volumeURLs[0] != "" && volumeURLs[1] != "" {
err = mountVolume(containerName, volumeURLs)
if err != nil {
log.Errorf("mountVolume err:%v", err)
return
}
} else {
log.Infof("volume parameter input is not correct.")
}
}
}
// DeleteWorkSpace Delete the OverlayFS filesystem while container exit
/*
和创建相反
1)有volume则卸载volume
2)卸载并移除merged目录
3)卸载并移除upper、worker层
*/
func DeleteWorkSpace(volume, containerName string) error {
// 如果指定了volume则需要先umount volume
if volume != "" {
volumeURLs := volumeUrlExtract(volume)
length := len(volumeURLs)
if length == 2 && volumeURLs[0] != "" && volumeURLs[1] != "" {
err := umountVolume(containerName, volumeURLs)
if err != nil {
return errors.Wrap(err, "umountVolume")
}
}
}
// 然后umount整个容器的挂载点
err := umountOverlayFS(containerName)
if err != nil {
return errors.Wrap(err, "umountOverlayFS")
}
// 最后移除相关文件夹
err = removeUpperWorker(containerName)
if err != nil {
return errors.Wrap(err, "removeUpperWorker")
}
return nil
}
至此,基本改动完成了,创建出的每个容器都会单独在/var/lib/mydocker/overlay2/ 目录下生成一个 rootfs 目录,这样就避免了多个容器之间互相影响.
之前,由于对应的文件系统因为是共用的,所以没有删除, rm 命令只把容器信息删了,这次对 rm 命令进行调整,删除时也把文件系统删了.
func removeContainer(containerId string, force bool) {
containerInfo, err := getInfoByContainerId(containerId)
if err != nil {
log.Errorf("Get container %s info error %v", containerId, err)
return
}
switch containerInfo.Status {
case container.STOP: // STOP 状态容器直接删除即可
// 先删除配置目录,再删除rootfs 目录
if err = container.DeleteContainerInfo(containerId); err != nil {
log.Errorf("Remove container [%s]'s config failed, detail: %v", containerId, err)
return
}
container.DeleteWorkSpace(containerId, containerInfo.Volume)
case container.RUNNING: // RUNNING 状态容器如果指定了 force 则先 stop 然后再删除
if !force {
log.Errorf("Couldn't remove running container [%s], Stop the container before attempting removal or"+
" force remove", containerId)
return
}
log.Infof("force delete running container [%s]", containerId)
stopContainer(containerId)
removeContainer(containerId, force)
default:
log.Errorf("Couldn't remove container,invalid status %s", containerInfo.Status)
return
}
}
增加了下面这一句:
container.DeleteWorkSpace(containerId, containerInfo.Volume)
用 busybox.tar 镜像启动一个容器,然后查看/var/lib/mydocker/overlay2/ 目录下是否生成对应内容.
首先在/var/lib/mydocker/image/目录准备好镜像 。
root@mydocker:~# mv busybox.tar /var/lib/mydocker/image/
然后使用该镜像启动容器 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# go build .
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker run -d -name rootfs busybox top
{"level":"info","msg":"createTty false","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"resConf:\u0026{ 0 }","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"lower:/var/lib/mydocker/overlay2/5341624332/lower image.tar:/var/lib/mydocker/image/busybox.tar","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"mount overlayfs: [/usr/bin/mount -t overlay overlay -o lowerdir=/var/lib/mydocker/overlay2/5341624332/lower,upperdir=/var/lib/mydocker/overlay2/5341624332/upper,workdir=/var/lib/mydocker/overlay2/5341624332/work /var/lib/mydocker/overlay2/5341624332/merged]","time":"2024-02-22T13:34:12+08:00"}
{"level":"info","msg":"command all is top","time":"2024-02-22T13:34:12+08:00"}
查看容器 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
查看/var/lib/mydocker/overlay2 目录下是否生成对应内容 。
root@mydocker:/var/lib/mydocker/overlay2# cd /var/lib/mydocker/overlay2/5341624332
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls
lower merged upper work
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls lower
bin dev etc home proc root sys tmp usr var
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls merged/
bin dev etc home proc root sys tmp usr var
可以看到,在/var/lib/mydocker/overlay2/{containerID} 目录下生成了,lower、merged、upper、work 等 overlay2 目录.
其中 lower 中的内容由镜像解压得到,merged 则是容器 rootfs 挂载点.
然后进入容器创建文件 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker exec 5341624332 /bin/sh
{"level":"info","msg":"container pid:219016 command:/bin/sh","time":"2024-02-22T13:37:42+08:00"}
got mydocker_pid=219016
got mydocker_cmd=/bin/sh
/ # echo KubeExplorer > a.txt
/ # cat a.txt
KubeExplorer
接着到对应 merged 目录查看文件是否存在 。
root@mydocker:/var/lib/mydocker/overlay2/5341624332# ls merged/
a.txt bin dev etc home proc root sys tmp usr var
root@mydocker:/var/lib/mydocker/overlay2/5341624332# cat merged/a.txt
KubeExplorer
至此,说明 rootfs 调整一切正常.
接下来测试一下 mydocker commit 命令,把刚才启动的容器提交为镜像.
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker commit 5341624332 busybox-with-custom
{"level":"info","msg":"commitContainer imageTar:/var/lib/mydocker/image/busybox-with-custom.tar","time":"2024-02-22T13:43:33+08:00"}
然后查看 var/lib/mydocker/image/ 目录是否生成了对应的镜像文件 。
root@mydocker:/var/lib/mydocker/overlay2/5341624332# cd /var/lib/mydocker/image/
root@mydocker:/var/lib/mydocker/image# ls
busybox-with-custom.tar busybox.tar
busybox-with-custom.tar 就是 commit 命令生成的镜像.
接下来使用该镜像启动一个容器,查看之前创建的文件是否存在 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker run -d -name rootfs2 busybox-with-custom top
{"level":"info","msg":"createTty false","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"resConf:\u0026{ 0 }","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"lower:/var/lib/mydocker/overlay2/8118341786/lower image.tar:/var/lib/mydocker/image/busybox-with-custom.tar","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"mount overlayfs: [/usr/bin/mount -t overlay overlay -o lowerdir=/var/lib/mydocker/overlay2/8118341786/lower,upperdir=/var/lib/mydocker/overlay2/8118341786/upper,workdir=/var/lib/mydocker/overlay2/8118341786/work /var/lib/mydocker/overlay2/8118341786/merged]","time":"2024-02-22T13:45:53+08:00"}
{"level":"info","msg":"command all is top","time":"2024-02-22T13:45:53+08:00"}
进入容器查看内容 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
8118341786 rootfs2 219109 running top 2024-02-22 13:45:53
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker exec 8118341786 /bin/sh
{"level":"info","msg":"container pid:219109 command:/bin/sh","time":"2024-02-22T13:46:14+08:00"}
got mydocker_pid=219109
got mydocker_cmd=/bin/sh
/ # cat a.txt
KubeExplorer
可以看到,提交的镜像中包含了我们新建的 a.txt 文件,说明 commit 命令也是正常的.
最后测试一下 mydocker rm 命令,能否删除镜像配置和对应的 rootfs 目录.
ps 命令拿到 id 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker ps
ID NAME PID STATUS COMMAND CREATED
5341624332 rootfs 219016 running top 2024-02-22 13:34:12
8118341786 rootfs2 219109 running top 2024-02-22 13:45:53
根据 id 删除容器 。
root@mydocker:~/refactor-isolate-rootfs/mydocker# ./mydocker rm 5341624332 -f
{"level":"info","msg":"force delete running container [5341624332]","time":"2024-02-22T13:47:36+08:00"}
{"level":"info","msg":"umountOverlayFS,cmd:/usr/bin/umount /var/lib/mydocker/overlay2/5341624332/merged","time":"2024-02-22T13:47:36+08:00"}
查看一下 /var/lib/mydocker/overlay2 中的 rootfs 目录是否删除 。
cd /var/lib/mydocker/overlay2
root@mydocker:/var/lib/mydocker/overlay2# ls
可以看到,容器相关目录都被移除了.
本小节主要完善了容器的文件系统,在/var/lib/mydocker/overlay2/ 目录下为每个容器单独分配一个 rootfs,避免了多容器之间互相影响.
【从零开始写 Docker 系列】持续更新中,搜索公众号【探索云原生】订阅,阅读更多文章.
完整代码见:https://github.com/lixd/mydocker 欢迎关注~ 。
相关代码见 refactor-isolate-rootfs 分支,测试脚本如下:
需要提前在 /var/lib/mydocker/image 目录准备好 busybox.tar 文件,具体见第四篇第二节.
# 克隆代码
git clone -b refactor-isolate-rootfs https://github.com/lixd/mydocker.git
cd mydocker
# 拉取依赖并编译
go mod tidy
go build .
# 测试
./mydocker run -d -name c1 busybox top
# 查看容器 Id
./mydocker ps
# stop 停止指定容器
./mydocker rm ${containerId} -f
最后此篇关于从零开始写Docker(十四)---重构:实现容器间rootfs隔离的文章就讲到这里了,如果你想了解更多关于从零开始写Docker(十四)---重构:实现容器间rootfs隔离的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我的公司有一个 Web 应用程序,其中包含纯 JavaScript,它以自己的方式使用 $ -“美元符号”,如下所示: function $(e) { return document.getE
doc说“这意味着对单个节点上单个分区内的行的写入仅对执行操作的客户端可见”。 如果有另一个 client2 在同一个分区和同一个节点上执行操作,那么文档中提到的“THE CLIENT”执行的写入是否
只是一个想法,但在 DIV 上使用 IFRAME 本质上会使该元素与窗口隔离,从而降低 IFRAME 中运行的脚本速度 不会影响其他框架/窗口吗? 最佳答案 是的,对于第一部分,iframe 会“某种
我有以下模型 Inventory [product_name, quantity, reserved_quantity] 有数据 [Shirt, 1, 0] [Shorts, 10, 0] 如果以下代
我面临的情况如下。因为ThreadPool是每个进程1个实例,所以我的问题是是否会在 3秒后取消方法2排队的任务? http request comes in *method 1 gets execu
我希望在 Dart 中创建一个 Isolate,我可以通过编程方式暂停和恢复。这是我使用的代码。 import 'dart:io'; import 'dart:isolate'; void main(
我想编写一个具有隔离作用域的指令,但也希望使该作用域可用于父作用域的 Controller 。我找到了这个解决方案: app.directive('popupbutton', [functi
我有一个像这样的 JSON 对象: [ {"Subject": "Physics", "Active": 48, "Date": "2020-01-22T00:00:00Z"}, {"Su
我正在使用 Elixir 自动执行用 Gherkin 编写的规范中定义的验收测试。一种方法是使用名为 Cabbage 的 ExUnit 插件。 . 现在,ExUnit 似乎提供了一个在任何单个测试之前
我被要求为多个用户配置一个带有 docker 的 ubuntu 18.04 服务器。 目的: 我们有多个编写测试用例的测试人员。但是我们的笔记本电脑速度不够快,无法在 docker 环境中构建项目和运
我一直在网上寻找完整的解决方案,但到目前为止,我只能找到不合适的部分。 我正在寻找一个可以查看图像文件、循环遍历文件并隔离 Sprite 然后保存它们的程序。之后,我需要一种方法来重新访问该 Spri
我想知道如何隔离 JavaScript 函数的执行以避免浏览器崩溃。 示例:如果我想在控制台中输出一个包含大约 10k 元素的关联数组,浏览器将停止响应。我怎样才能避免这种情况? 最佳答案 解决方案是
我必须向我的数据库添加大量信息。添加此信息大约需要 5-7 分钟。我需要添加交易。 我试过这个: try { db.Connection.Open(); db.Transaction
我有 6 个 iframe,它们来自同一个域,但具有不同的 url 和子目录。他们都使用 html header “set-cookie”设置了一个名称相同但值不同的 cookie。我需要将它们的 c
我正在编写一个代码,它基本上读取一个文本文件(表格格式)并检查该文件是否包含预期的数据类型。为此我写了下面的课。 示例文件应该是这样的。 name age abc 20 xyz
我有一个表,线程。我有一个表,thread_participants。我正在尝试隔离与特定 thread_id 和特定 thread_participants.user_id 标识的行。 例如,如果
我有一个非常实际的问题。我的数据库中有大约 400 篇文章,在这些文章中我有其他文章的链接。在转换过程中,链接被破坏。我们在 CMS 中手动插入新的菜单链接项。我想制作一个脚本来查找(文章)id 并将
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 10 年前。 Improve thi
我在想是否可以在 postgres 数据库(高于 8.3 的版本)上创建一个只能访问特定指定模式的用户。问题是,在我的数据库中我有一些模式。如果我撤销某个用户对除一个模式之外的所有模式的所有特权,他仍
我有两组点,一组来自分析,另一组用于分析数据的后处理结果。 黑色的分析数据是散乱的。 用于结果的点是红色的。 这是同一地 block 上的两组: 我遇到的问题是:我将插值到红点上,但如您所见,有些红点
我是一名优秀的程序员,十分优秀!