gpt4 book ai didi

hadoop - 从hadoop HDFS数据中搜索

转载 作者:行者123 更新时间:2023-12-02 20:49:15 25 4
gpt4 key购买 nike

我从JSON格式的在线资源中提取数据,并通过Apache Flume将其存储到Hdfs中。现在,它像Hadoop一样创建多个文件。现在,我想从此数据(从所有这些文件)中搜索某些内容,并获取与之相关的完整信息。解决办法是什么?

最佳答案

您可以开发自己的脚本以使用MapReduce或Spark在hdfs中进行搜索。您还有另一种解决方案,可以使用hive和或Pig。
pig 指南:http://archive.cloudera.com/cdh/3/pig/tutorial.html
hive 指南:https://cwiki.apache.org/confluence/display/Hive/LanguageManual

关于hadoop - 从hadoop HDFS数据中搜索,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46599676/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com