hadoop - 在 Docker 容器上使用 Hadoop 和 Spark

Question

我想在我的工作中使用大数据分析。我已经实现了所有在容器中创建容器的 docker 东西。然而，我是大数据的新手，我已经知道，当速度很重要时，将 Hadoop 用于 HDFS 并在 Hadoop 上使用 Spark 而不是 MapReduce 本身是网站和应用程序的最佳方式(是吗？)。这适用于我的 Docker 容器吗？如果有人可以指导我去某个地方了解更多信息，那将非常有帮助。

Answer 1

您可以尝试使用 Cloudera QuickStart Docker Image 开始。请看https://hub.docker.com/r/cloudera/quickstart/ .该docker镜像支持单节点部署Cloudera的Hadoop平台，以及Cloudera Manager。此 docker 镜像也支持 spark。