hadoop - 我们如何处理来自 Hadoop DB 的处理数据(输出)？

Question

我是 Hadoop 的新手，如果我的问题太不成熟，我深表歉意。

我了解 Hadoop 用于分析大型数据集上的数据。最后，我们如何处理分析后的数据，创建报告和演示文稿？

例如，如果是 SSRS 报告，报告将基于使用 SQL 查询从 RDBMS 中提取的结果数据生成。

但是，基于 Hadoop 的数据库是如何工作的？来自客户端，如果请求特定报告，需要来自 Hadoop DB 的数据点，那么流程将如何？我确信客户端不会直接在 hadoop 中运行 Job 来提取生成报告所需的数据，因为 hadoop 作业需要更多时间来处理。

我的问题是，通过在 hadoop 数据库上运行 MR 作业，处理后的数据(结果集)是否存储在任何中间数据库中，如 RDBMS？以便客户端可以提取生成报告所需的数据？

请澄清一下。

Answer 1

Hadoop 有两个主要组件

• 分布式存储 (HDFS)
• 分布式计算(Map Reduce)

Hadoop 应该更多地可视化为分布式操作系统，HDFS 作为分布式存储，Map Reduce 作为内核。有许多工具可以利用这些分布式功能，例如 Hive、Pig、Sqoop、Impala、Datameer、Spark 等。

运行 ETL 等重量级数据处理后，您可以将数据加载回轻量级关系数据库，并连接 SSRS 等企业 BI 工具以进行报告。像 Tableau 这样的 BI 工具也有通过 Spark 连接到 Hadoop 的连接器，我们可以使用它直接从 Hadoop 中报告。 Datameer 是基于 Hadoop 的可视化工具，可用于报告数据。

简而言之，不应将 SSRS 等工具与 Hadoop 进行比较。 Hadoop 是一种无缝提供分布式功能的技术，围绕它的生态系统可用于解决利用它的业务问题。