docker - Docker容器上的HDFS-有可能吗？

Question

我们正在使用基于HDP版本的Hadoop群集-带有ambari平台的2.6.5
我们想知道是否可以在Docker容器上使用以下HDFS组件:

1. journal nodes 
2. ZK fail controller
3. NameNode ( HA with active namenode and standby namenode )

经过一番搜索后，我们在Docker容器上找不到太多有关HDFS的文档

所以我认为docker容器上的 HDFS不是很好的实现

我很乐意对此有更多的想法吗？

Answer 1

据我所知，Cloudera没有此类文档。他们可能正在开发将来的Kubernetes产品，但这就是我所听到的。

是的，可以使用Docker，但是任何主要的Hadoop供应商都不会支持Docker，并且可能很难处理围绕它的网络和存储要求。

MinIO would arguably be a better alternative than HDFS when using Docker