hadoop - Pig和Hadoop之间的区别

Question

Pig和Hadoop有什么区别？
Pig是否在Hadoop之上运行，并且是否还提供Pig Latin以便能够充分利用Hadoop的技术？

Answer 1

Hadoop由2个组件HDFS和MapReduce组成。

HDFS是用于存储大量数据的分布式文件系统，该系统具有高度可伸缩性和容错能力。

另一方面，

MapReduce是可以处理HDFS中存储的数据的处理引擎。 MR尝试将计算带到数据所在的位置(数据局部性)。

为了设计用于处理/分析HDFS中存储的数据的算法，MapReduce提供了以下API:

JAVA API-允许用户编写MapReduce应用程序，通常分两个阶段Mapper和Reducer

Streaming API-允许用户以动态编程语言(例如Python / Perl / Ruby / Shell / ...)编写 map 并进行归约。

Pipes-允许用户编写 map 并用C++简化

另一方面， Pig和 Hive是位于MapReduce之上的框架，可以将以PigLatin(数据流语言)或HiveQL(类似于SQL的语法)编写的代码分别转换为MapReduce作业集，从而节省了大量的编程时间。