hadoop - 从头开始构建Data Lake

Question

我正在尝试从头开始构建“数据湖”。我了解数据湖的工作原理和目的。遍布互联网。但是，当出现问题时，如何从头开始构建一个问题就没有了。我想了解是否:

Data warehouse + Hadoop = Data Lake

我知道如何运行Hadoop并将数据引入Hadoop。
我想在内部数据湖上构建一个样本来演示我的经理。任何帮助表示赞赏。

Answer 1

您必须具有结构化和非结构化数据，才能将Hadoop集群变成数据湖。

因此，您必须具有一些ETL管道来获取非结构化数据并将其转换为结构化数据。产品评论或类似的评论会提供您的非结构化数据。将其转换为Hive可用的东西(例如)将为您提供结构化数据。

我会用https://opendata.stackexchange.com/来获取您的数据，而用google Hadoop ETL来了解如何清除数据的想法。由您决定如何编写管道(Spark或MapReduce)。