gpt4 book ai didi

hadoop - 如何从HDFS获取数据? hive ?

转载 作者:可可西里 更新时间:2023-11-01 14:28:49 26 4
gpt4 key购买 nike

我是 Hadoop 新手。我对我的数据运行了 map reduce,现在我想查询它以便将其放入我的网站。 Apache Hive 是最好的方法吗?我将不胜感激任何帮助。

最佳答案

请记住,Hive 是一个批处理系统,它在幕后将 SQL 语句转换为一堆 MapReduce 作业,并在其间进行阶段构建。此外,Hive 是一个高延迟系统,即根据您的数据集大小,您需要几分钟到几小时甚至几天来处理复杂的查询。

因此,如果您想在您的网站上提供 MapReduce 作业输出的结果,强烈建议您使用 sqoop 将结果导出回 RDBMS。然后从那里拿走它。

或者,如果数据本身很大,无法导出回 RDBMS。那么您可以想到的另一种选择是使用像 HBase 这样的 NoSQL 系统。 .

关于hadoop - 如何从HDFS获取数据? hive ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26719685/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com