database - 大数据去了哪里以及如何存储？

Question

我正在努力掌握大数据，主要是如何管理大数据。

我熟悉数据管理和数据生命周期的传统形式；例如:

1. 收集的结构化数据(例如网络表单)
2. 数据存储在数据库服务器上 RDBMS 的表中
3. 清理数据，然后将其 ETL 到数据仓库中
4. 使用 OLAP 多维数据集和各种其他 BI 工具/技术分析数据

但是，在大数据的情况下，我对第 2 点和第 3 点的等效版本感到困惑，主要是因为我不确定是否每个大数据“解决方案”总是涉及使用 NoSQL 数据库处理和存储非结构化数据，以及相当于大数据的数据仓库。

据我所知，在某些情况下，NoSQL 并不总是被使用并且可以完全省略 - 这是真的吗？

对我来说，大数据生命周期大致是这样的:

1. 收集的数据(结构化/非结构化/半)
2. 存储在大数据平台上的 NoSQL 数据库中的数据；例如HBase on MapR Hadoop 服务器分布。
3. 大数据分析/数据挖掘工具清理和分析数据

但我感觉情况并非总是如此，第 3 点可能完全错误。任何人都可以阐明这一点吗？

Answer 1

当我们谈论大数据时，我们在大多数情况下谈论的是大量不断写入的大量数据。数据也可以有很多种。将大数据的典型数据源想象成生产线中的一台机器，它始终生成有关温度、湿度等的传感器数据。这不是您在 DWH 中可以找到的典型数据。

如果将所有这些数据转换为关系数据库，会发生什么情况？如果您经常使用 ETL，您就会知道从源中提取数据、将数据转换为适合模式然后存储它需要时间，而且是一个瓶颈。创建模式太慢。此外，大多数情况下，此解决方案成本高昂，因为您需要昂贵的设备来运行 DWH。您不会希望用传感器数据填充它。

您需要在便宜的硬件上进行快速写入。对于大数据，您首先将无模式(通常称为非结构化数据)存储在分布式文件系统上。该文件系统将庞大的数据分成 block (通常约为 128 MB)，并将它们分布在集群节点中。随着 block 的复制，节点也可能会关闭。

如果您来自传统的 DWH 世界，您已经习惯了可以很好地处理准备充分且结构化的数据的技术。 Hadoop 及其合作伙伴非常适合寻找洞察力，例如大海捞针。您可以通过并行数据处理获得洞察力，并且可以处理大量数据。

假设您收集了数 TB 的数据，并且您想要对其进行一些分析(例如聚类)。如果你必须在一台机器上运行它，那将需要几个小时。大数据系统的关键是在无共享架构中并行执行。如果你想提高性能，你可以添加硬件来横向扩展。有了它，您可以使用大量数据加快搜索速度。

看看现代大数据堆栈，您有数据存储。这可以是具有分布式文件系统(如 HDFS 或类似文件系统)的 Hadoop。然后你在它之上有一个资源管理器来管理文件系统上的访问。然后再次在它之上，您有一个数据处理引擎，例如 Apache Spark，它在存储层上编排执行。

同样在数据处理的核心引擎上，您拥有应用程序和框架，例如机器学习 API，可让您在数据中找到模式。您可以运行无监​​督学习算法来检测结构(例如聚类算法)，也可以运行有监督机器学习算法来赋予数据模式一些意义并能够预测结果(例如线性回归或随机森林)。

这是我的大数据简述，适用于对传统数据库系统有经验的人。