hadoop - 什么时候使用 Hadoop 是矫枉过正？

Question

我有一个 Oracle 数据数据库(大约 12 亿条记录)，上面有一个生成查询(生成 SQL 代码并返回计数)的 Web 应用程序。基本上，您通过 AJAX UI 以图形方式生成 SQL 查询...并且它在性能方面运行得非常好。

这大约是一个 400 GB 的数据库。我一直在研究 Hadoop 并考虑使用它而不是 Oracle(让我的应用程序生成 HIVE 查询代码)，但在我看来这是一个矫枉过正的问题……hadoop 不是更多地针对数十 TB 到 PB 的数据吗规模数据集？它是否适合代替关系数据库(如 Oracle)来完成我正在执行的任务？？

Answer 1

没有更多细节很难说。然而，根据我的经验，如果你所有的数据都在 SQL 中，那么你的 SQL 引擎可能比简单的 map reduce 有更多的优化。

如果不知道您想要准确处理什么以及数据的状态，那么除非您在环境中遇到一些主要的边缘情况，否则在您的情况下设置和使用 hadoop 可能会遇到更多麻烦，而且它可能会最终需要更长的时间。

如果您的所有数据都在 Oracle 中，那么它可能都经过解析、索引，并且希望有些规律。如果处理完全存在于该域中(并且您没有尝试处理一些不常见的事情，例如大量 BLOB 或其他奇怪的情况)，大多数情况下最好让您的数据库引擎处理它。

故事的寓意:

Hadoop is really awesome but it's not magic and doesn't make regular old SQL faster!