mapreduce - Hive QL 是否具有与直接在 Hadoop 上编写自己的 MapReduce 作业相同的表达能力？

Question

换句话说，

是否存在可以通过直接定义 map reduce 作业来解决但无法形成 Hive QL 查询的问题？

如果是，则说明 Hive QL 的表达能力有限，无法表达所有可能的 map reduce 作业。

实际上，这意味着 Hive QL 不能完全替代定义您自己的 Map Reduce 作业。

Answer 1

Hive QL 不表达可以用 MapReduce 编写的所有内容。总会有一些情况，当您了解 Hive 无法推断的数据时。

我认为出于这个原因避免使用 Hive 是不公平的，如果这是您正在考虑的。 SQL 与在平面文件上编写算法有同样的问题。如果设计得当，您始终可以通过从头开始编写算法来做至少与查询语言一样好或更好的事情。