hadoop - 如何在 Docker 容器中挂载 HDFS

Question

我在 Docker 容器中制作了一个应用程序 Dockerized。我打算让应用程序能够从我们的 HDFS 访问文件。 Docker 镜像将部署在我们通过 Marathon-Mesos 安装 HDFS 的同一集群上。

以下是要 POST 到 Marathon 的 json。看来我的应用程序能够在 HDFS 中读取和写入文件。有人可以评论这个的安全性吗？我的应用程序更改的文件是否也会在 HDFS 中正确更改？我用 Google 搜索了一下，没有找到任何类似的方法...

{
  "id": "/ipython-test",
  "cmd": null,
  "cpus": 1,
  "mem": 1024,
  "disk": 0,
  "instances": 1,
  "container": {
    "type": "DOCKER",
    "volumes": [
      {
        "containerPath": "/home",
        "hostPath": "/hadoop/hdfs-mount",
        "mode": "RW"
      }
    ],
    "docker": {
      "image": "my/image",
      "network": "BRIDGE",
      "portMappings": [
        {
          "containerPort": 8888,
          "hostPort": 0,
          "servicePort": 10061,
          "protocol": "tcp",
        }
      ],
      "privileged": false,
      "parameters": [],
      "forcePullImage": true
    }
  },
  "portDefinitions": [
    {
      "port": 10061,
      "protocol": "tcp",
      "labels": {}
    }
  ]
}

Answer 1

你可以看看 Docker volume docs .

基本上，volumes app.json 中的定义将触发带有标志 -v /hadoop/hdfs-mount:/home:RW 的 Docker 镜像的启动，这意味着主机路径被映射到 Docker 容器为 /home在读写模式下。

如果您通过 SSH 连接到运行该应用程序的节点并执行 docker inspect <containerId>，您应该能够验证这一点.

另见

• https://mesosphere.github.io/marathon/docs/native-docker.html