apache-spark - 如何在单机上创建集群式hadoop环境？

Question

Closed. This question needs to be more focused。它当前不接受答案。












想改善这个问题吗？更新问题，使其仅关注 editing this post的一个问题。

去年关闭。



Improve this question




我正在尝试通过Hadoop配置集群大数据环境。我在Windows 10操作系统中有一台配备i5处理器和16GB Ram的计算机，或者有没有什么方法可以配置为具有相同配置的学习开发环境。

最佳答案

如果要在计算机中有一个单节点群集。然后docker是@sumitkumar推荐的选项，但是我认为您可能是初学者，因此这种方法可能不太适合您。

我建议您安装任何软件:VMWare/VirtualBox并下载CentOS7镜像文件并将其加载到虚拟机，然后在其上安装单节点群集。我为您提供了Apache Hadoop开源单节点群集安装的官方链接，并且如果您不愿意付出太多努力+您还想要Hadoop群集的UI，那么建议您安装Setup Ambari。

(最新)Ambari-2.7.0
(稳定)Ambari-2.6.2

Hadoop Open Source

关于apache-spark - 如何在单机上创建集群式hadoop环境？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51882141/

上一篇：hadoop - 哪个搜索引擎适合大数据

下一篇：hadoop - Hue内部架构和配置单元查询执行

相关文章：

hadoop - pig : Count number of keys in a map

maven - Spark maven Artifact spark-core_2.10和spark-core_2.11之间的区别

java.lang.IllegalArgumentException : Attempt to add ([custom-jar-with-spark-code]. jar) 多次到分布式缓存

apache-spark - Hadoop 最好的 spark 2.4 版本

hadoop - Solr HBase 搜索引擎

java - 如何在旧的hadoop api的reduce中获取当前配置

hadoop - cloudera集群节点角色

postgresql - 使用 Zeppelin Spark 2.0 和 Pyspark 连接到 AWS Redshift

hadoop - 在 Yarn 集群上运行 Spark 作业

java - Cassandra 和 Spark : can I add an item to a row to create a dataframe from a list of Rows

Answer 1

如果要在计算机中有一个单节点群集。然后docker是@sumitkumar推荐的选项，但是我认为您可能是初学者，因此这种方法可能不太适合您。

我建议您安装任何软件:VMWare/VirtualBox并下载CentOS7镜像文件并将其加载到虚拟机，然后在其上安装单节点群集。我为您提供了Apache Hadoop开源单节点群集安装的官方链接，并且如果您不愿意付出太多努力+您还想要Hadoop群集的UI，那么建议您安装Setup Ambari。

(最新)Ambari-2.7.0
(稳定)Ambari-2.6.2

Hadoop Open Source