gpt4 book ai didi

maven - Hadoop-common、Hadoop-core 和 Hadoop-client 之间的区别?

转载 作者:可可西里 更新时间:2023-11-01 14:13:36 32 4
gpt4 key购买 nike

我刚接触Hadoop,想知道Hadoop-commonHadoop-core之间有什么区别Hadoop 客户端?

顺便说一句,对于给定的类,我如何知道 Maven 中哪个 Artifact 包含它?例如,哪个包含 org.apache.hadoop.io.Text

最佳答案

从高层次的角度帮助提供有关 Hadoop-common、Hadoop-core 和 Hadoop-client 之间差异的一些额外详细信息:

  • Hadoop-common 是指支持 Hadoop 模块的常用实用程序和库。
  • Hadoop-core 与 Hadoop-common 相同;根据 https://hadoop.apache.org/,它于 2009 年 7 月更名为 Hadoop-common .
  • Hadoop-client 是指用于与 Hadoop 的通用组件(HDFS、MapReduce、YARN)通信的客户端库,包括但不限于日志记录和编解码器等。

一般来说,对于构建提交到 YARN、运行 MR 作业或从 HDFS 访问文件的应用程序的开发人员,使用 Hadoop 客户端库。

关于maven - Hadoop-common、Hadoop-core 和 Hadoop-client 之间的区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28856096/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com