hadoop - MapReduce 现实生活中的用途

Question

我怀疑在哪些情况下，选择 MapReduce 而不是 hive 或 pig。

我知道是什么时候用的

1. 我们需要对输入数据进行深度过滤。
2. 处理非结构化数据。
3. 使用图表。 ....但是有什么地方我们不能使用 hive、pig 或者我们可以使用 MapReduce 更好地工作并且它在实际项目中被广泛使用

Answer 1

Hive 和 Pig 是通用解决方案，它们在处理数据时会产生开销。大多数情况下它可以忽略不计，但在某些情况下它可能相当大。

如果需要join的表很多，使用Hive和Pig尽量采用通用的方案，如果在了解数据后使用map reduce，可以想出更优的方案。

然而，map reduce 应该被视为内核。如果您的解决方案可以在其他地方重用，最好使用 map reduce 开发它并与 Hive/Pig/Sqoop 集成。

Pig 可用于处理非结构化数据。在处理数据时，它将提供比 Hive 更大的灵 active 。