gpt4 book ai didi

hadoop - 处理 HDFS 文件

转载 作者:行者123 更新时间:2023-12-02 21:49:58 25 4
gpt4 key购买 nike

首先让我说我是 Hadoop 的新手。我的要求是使用 Hadoop 基础架构分析服务器日志文件。我朝着这个方向迈出的第一步是使用 Flume HDFS sink 流式传输日志文件并将它们原始转储到我的单节点 Hadoop 集群中。现在我有一堆文件,其中包含如下所示的记录:

时间戳 req-id 级别模块名称消息

我的下一步是解析文件(分离出字段)并将它们存储回来,以便它们准备好进行搜索。

我应该使用什么方法?我可以使用 Hive 执行此操作吗? (对不起,如果问题很幼稚)。互联网上可用的信息是压倒性的。

最佳答案

您可以使用 HCatalog 或 Impala 进行更快的查询。

关于hadoop - 处理 HDFS 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21873355/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com