gpt4 book ai didi

apache - Hadoop生态系统部署步骤

转载 作者:可可西里 更新时间:2023-11-01 15:18:46 29 4
gpt4 key购买 nike

我正在尝试在一个集群中设置来自 Apache Hadoop 堆栈的所有项目。设置 apache hadoop 生态系统框架的顺序是什么?例如:Hadoop、HBase、...而且,如果您使用一些特定的步骤进行测试,您可以判断在部署过程中会遇到什么样的问题。部署的主要框架(Hadoop、HBase、Pig、Hive、HCatalog、Mahout、Giraph、ZooKeeper、Oozie、avro、sqoop、mrunit、crunch,如有遗漏请补充)

最佳答案

有不同的顺序,因为并非所有列出的产品都是相关的。
简而言之:
1. Hadoop(HDFS、MapReduce)
2. Pig、Hive、sqoop、Oozie
2.Zookeeper(HBase需要)
3.HBase

我不是 100% 确定 Mahout、MRUnit 依赖项,但我认为 Hadoop 仅在需要时使用。
Avro 不直接依赖于 hadoop——它是序列化库。

关于apache - Hadoop生态系统部署步骤,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10547050/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com