gpt4 book ai didi

hadoop - HADOOP 中的实时交互式查询

转载 作者:可可西里 更新时间:2023-11-01 16:48:15 24 4
gpt4 key购买 nike

是否可以在 hadoop 中进行实时交互式查询?

当我在 YARN/tez 上使用 Hive 时,延迟仍然太高,即使它在 parquet/ocr 上也是如此。

有什么建议吗?

提前致谢

最佳答案

Hadoop 不是实时或近实时查询的好选择。在 Hadoop 中运行任何东西的延迟开销都会很高。考虑使用 Apache Spark(因为我希望你有一个批处理系统,因为你正在使用 Hadoop)。 Spark 使用 spark shell 提供交互式查询。您还可以使用 Impala 查询存储在 HDFS 中的数据。我相信,与 Hive 相比,Impala 提供了更快的查询。

关于hadoop - HADOOP 中的实时交互式查询,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34897160/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com