bigdata - 数据湖和大数据是一样的吗？

Question

我试图了解所有数据湖和大数据之间是否存在真正的区别，如果你检查这两个概念都像一个大存储库，它会保存信息直到有必要，那么，我们什么时候可以说我们正在使用大数据还是数据湖？

提前致谢

Answer 1

我不能说我以前遇到过“大存储库”这个词，但为了回答最初的问题，不，数据湖和大数据不一样，尽管公平地说，它们都被抛出了很多，而且定义因您问的人而异，但我会尝试试一试:

大数据

用于描述周围的技术生态系统，以及在某种程度上处理数据的行业，这些数据在某种程度上太大或太复杂而无法通过传统方式方便地存储和/或处理。

有时，这可能是纯粹的数据量问题:一旦达到 100 TB 或 PB，您的老式 RDBMS 数据库往往会认输，我们被迫将数据分布在多个磁盘上，而不仅仅是一个磁盘大的。在这些数量上，我们希望并行化我们的工作负载，从而产生诸如 MPP 数据库、Hadoop 生态系统和基于 DAG 的处理之类的东西。

但是，仅靠音量并不能说明全部情况。大数据的一个流行定义是所谓的“4 Vs”:数量、品种、速度和真实性 .简而言之:

成交量 - 上面提到的，指的是数据大小引起的难度

品种 - 指处理不同类型数据的固有复杂性；您的一些数据将是结构化的(想想 SQL 数据表)，而其他数据可能是半结构化的(XML 文档)或非结构化的(原始图像文件)，处理这种变化的技术非常重要

速度 - 指可能产生新数据的速度；在收集诸如物联网数据、网络流量、金融交易、数据库更改或其他任何实时发生的实时事件时，数据流入(在许多情况下，流出)系统的“速度”，可以轻松超越传统数据库技术的能力，需要某种可扩展的消息总线 (Kafka) 和可能的复杂事件处理框架(例如 Spark Streaming 或 Apache Flink)

真实性 - 最后一个“V”是指处理数据时增加的复杂性，这些数据通常来自您无法控制的来源，并且可能包含无效、错误、恶意、格式错误或以上所有数据。这增加了对数据验证、数据质量检查、数据规范化等的需求。

在这个定义中，“大数据”是指由于与 4 V 相关的特殊挑战，不适合使用传统数据库技术处理的数据；而“大数据工具”是专门为应对这些挑战而设计的工具。

数据湖

相比之下，数据湖通常用作描述某种类型的文件或 blob 存储层的术语，它允许根据大数据架构的需要存储几乎无限量的结构化和非结构化数据。

一些公司将使用术语“数据湖”不仅表示存储层，还表示所有相关工具，从摄取、ETL、争论、机器学习、分析，一直到数据仓库堆栈，甚至可能是 BI 和可视化工具.然而，作为一名大数据架构师，我发现该术语的使用令人困惑，并且更喜欢将数据湖及其周围的工具作为具有独立功能和职责的独立组件来讨论。因此，数据湖的职责是成为您可能想要静态存储的任何类型数据的中央、高持久性存储。

大多数情况下，“数据湖”一词是由 Pentaho 的创始人兼首席技术官 James Dixon 创造的，他是这样描述的:

“If you think of a datamart as a store of bottled water – cleansed and packaged and structured for easy consumption – the data lake is a large body of water in a more natural state. The contents of the data lake stream in from a source to fill the lake, and various users of the lake can come to examine, dive in, or take samples.”

亚马逊网络服务在他们的页面上定义了它 'What Is A Data Lake' :

A data lake is a centralized repository that allows you to store all your structured and unstructured data at any scale. You can store your data as-is, without having to first structure the data, and run different types of analytics—from dashboards and visualizations to big data processing, real-time analytics, and machine learning to guide better decisions.

来自 Wikipedia :

A data lake is a system or repository of data stored in its natural format, usually object blobs or files. A data lake is usually a single store of all enterprise data including raw copies of source system data and transformed data used for tasks such as reporting, visualization, analytics and machine learning.

最后 Gartner :

A data lake is a collection of storage instances of various data assets additional to the originating data sources. These assets are stored in a near-exact, or even exact, copy of the source format. The purpose of a data lake is to present an unrefined view of data to only the most highly skilled analysts, to help them explore their data refinement and analysis techniques independent of any of the system-of-record compromises that may exist in a traditional analytic data store (such as a data mart or data warehouse).

在本地集群中，数据湖通常是指集群上的主存储，在分布式文件系统中，通常是 HDFS，但也存在其他文件系统，例如 Google 使用的 GFS 或 MapR 集群上的 MapR 文件系统。

在云中，数据湖通常不存储在集群上，因为让集群始终运行并不划算，而是存储在持久的云存储上，例如 Amazon S3、Azure ADLS 或 Google Cloud Storage。然后可以按需启动计算集群并无缝连接到云存储以运行转换、机器学习、分析作业等。

我希望这对你有帮助，祝你一切顺利，