mysql - 如何比较hive和mysql的性能

Question

我在 hive 和 mysql 中实现了相同的数据仓库星型模式。我认为 Hive 在查询响应时间方面更好。

但是我尝试了数千条记录，mysql 似乎比 hive 更好。我认为 Hive 更好，拥有数百万条记录(按 GB 顺序)

问题是我没有一百万条记录，也没有 hadoop 的硬件集群。

我该怎么做？

如果我假设有一个由 10 台服务器组成的集群，我可以将 hive 中的查询执行时间除以 10 吗？谢谢你

Answer 1

实际上，对于数百万条记录，我认为MySQL更好。

你真的需要 Hive 吗？您将如何使用这些数据？ Hive 不适合实时分析。用于离线分析。基本上，一个SQL查询在Hive中至少会运行几十秒。但对于数百万条记录，如果您的架构设计良好并且索引创建正确，那么在 MySQL 中运行的查询可以返回不到 1 秒。

此外，“如果我假设有一个由 10 台服务器组成的集群，我可以将 hive 中的查询执行时间除以 10”，这是错误的。不同的查询可能有不同的加速比。它还取决于数据分布。在极端情况下，Hive可能只使用一台机器来运行查询，例如交叉连接。