使用 SecurityContext readOnlyRootFilesystem 时 Kubernetes 137 退出代码

Question

我正在尝试在具有只读文件系统的容器中托管 Web 应用程序。每当我尝试通过 SecurityContext 将根文件系统配置为只读时的容器我收到以下错误:

    Ports:          80/TCP, 443/TCP
    Host Ports:     0/TCP, 0/TCP
    State:          Terminated
      Reason:       Error
      Exit Code:    137
      Started:      Thu, 23 Sep 2021 18:13:08 +0300
      Finished:     Thu, 23 Sep 2021 18:13:08 +0300
    Ready:          False

我尝试使用 AppArmor 配置文件实现相同的目标，如下所示:

profile parser-profile flags=(attach_disconnected) {
  #include <abstractions/base>
   ...
  deny /** wl,
   ...

不幸的是，结果是一样的。
我假设正在发生的是容器无法保存 Web 应用程序的文件并且失败。
在我的场景中，我将运行不受信任的代码，我必须确保不允许用户访问文件系统。
关于我做错了什么以及如何实现只读文件系统的任何想法？
我正在使用 AKS，以下是我的部署配置:

apiVersion: v1
kind: Service
metadata:
  name: parser-service
spec:
  selector:
    app: parser
  ports:
  - port: 80
    targetPort: 80
    protocol: TCP
    name: http
  - port: 443
    targetPort: 443
    protocol: TCP
    name: https
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: parser-deployment
spec:
  replicas: 5
  selector:
    matchLabels:
      app: parser
  template:
    metadata:
      labels:
        app: parser
      annotations:
        container.apparmor.security.beta.kubernetes.io/parser: localhost/parser-profile
    spec:
      containers:
      - name: parser
        image: parser.azurecr.io/parser:latest
        ports:
        - containerPort: 80
        - containerPort: 443
        resources:
          limits:
            cpu: "1.20"
        securityContext:
          readOnlyRootFilesystem: true

编辑:我也尝试创建一个集群级别的 PSP，但它也不起作用。

Answer 1

我设法复制了您的问题并实现了只读文件系统，但一个目录除外。
首先，值得注意的是，您在部署中同时使用了两种解决方案 - AppArmor 配置文件和 SecurityContext。由于 AppArmor 似乎要复杂得多，并且需要对每个节点进行配置，因此我决定仅使用 SecurityContext，因为它工作正常。
我收到了您在评论中提到的错误:

Failed to create CoreCLR, HRESULT: 0x80004005

这个错误没有多大意义，但经过一些测试，我发现它只在您运行文件系统只读的 pod 时发生 - 应用程序尝试保存文件但不能这样做。
该应用程序在 /tmp 中创建了一些文件目录所以解决方案是挂载 /tmp使用 Kubernetes Volumes所以它将被读写。在我的例子中，我使用了 emptyDir但是您可以使用任何其他您想要的卷，只要它支持写入即可。部署配置(你可以看到我添加了 volumeMounts 和 volumes 以及底部):

apiVersion: v1
kind: Service
metadata:
  name: parser-service
spec:
  selector:
    app: parser
  ports:
  - port: 80
    targetPort: 80
    protocol: TCP
    name: http
  - port: 443
    targetPort: 443
    protocol: TCP
    name: https
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: parser-deployment
spec:
  replicas: 5
  selector:
    matchLabels:
      app: parser
  template:
    metadata:
      labels:
        app: parser
    spec:
      containers:
      - name: parser
        image: parser.azurecr.io/parser:latest
        ports:
        - containerPort: 80
        - containerPort: 443
        resources:
          limits:
            cpu: "1.20"
        securityContext:
          readOnlyRootFilesystem: true
        volumeMounts:
        - mountPath: /tmp
          name: temp
      volumes:
      - name: temp
        emptyDir: {}

执行到 pod 后，我可以看到 pod 文件系统以只读方式挂载:

# ls   
app  bin  boot  dev  etc  home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
# touch file
touch: cannot touch 'file': Read-only file system
# mount 
overlay on / type overlay (ro,...)

通过运行 kubectl describe pod {pod-name}我可以看到 /tmp目录以读写方式挂载，并且正在使用 temp体积:

Mounts:
  /tmp from temp (rw)

请记住，如果您正在使用其他目录(例如保存文件)，您还需要以与 /tmp 相同的方式挂载它们。 .