hadoop - 是否存在 Hadoop/Mapreduce 无法处理的业务逻辑？

Question

我目前有五个表经常接收复制数据。 PL/SQL 用于根据复杂的业务逻辑转换、清理和聚合这些数据。然后将结果放入三个报告表中。

我有兴趣为此使用 MongoDB 而不是关系数据库。为此，所有 PL/SQL 业务逻辑都必须翻译成另一种语言，例如 Java。

但是，有人向我建议 Hadoop 将是比 MongoDB 更好的替代方案。我现在正在学习 Hadoop 和 Mapreduce，但我感觉 Hadoop 用于分析数据(从数据中得出统计值，即客户行为之间的相关性)，而不是用于根据业务逻辑转换数据。

为了用 Hadoop 替换原样系统，我假设所有 PL/SQL 业务逻辑都必须转换为 mapreduce 函数。这个假设不正确吗？

无论我的个人情况如何，是否有任何 Hadoop(和 mapreduce)无法处理而 PL/SQL 或 Java 可以处理的业务逻辑？

Answer 1

首先，MongoDB是一种NoSql数据库，Hadoop是一种并行处理框架。如果你真的有 tera/peta 字节的数据，那么使用并行处理框架是合理的。并查阅你的资料，是否可以使用Nosql数据库+并行处理框架。

1. 您可以将 PL/SQL 业务逻辑转换为 mapreduce 函数
2. 如果建立索引、集中化，Hadoop 可以处理任何业务逻辑批量丢失处理。(对于非事务性系统)

此外，我建议您研究一下 hive，它可能会对您有所帮助。