database - OLAP、OLTP、数据仓库、分析、分析和数据挖掘有何关联？

Question

我正在尝试了解什么是 OLAP、OLTP、数据挖掘、分析等，但我觉得我对其中一些概念的理解仍然有点模糊。有关这些主题的信息在互联网上往往以非常复杂的方式进行解释。

---

我觉得这样的问题很可能会被关闭，因为它是一个非常广泛的问题，所以我会尽量将其缩小为两个问题:

问题 1:

经过研究，我对这些概念的理解如下，是否正确？

• 分析是分解复杂的事物，以便更好地理解其内部运作方式。
• 分析是对需要大量数学和统计信息的信息进行预测分析。
• 有许多类型的数据库，但它们要么是 OLTP(事务型)，要么是 OLAP(分析型)。
• OLTP 数据库使用 ER 图，因此更易于更新，因为它们是规范化的形式。
• 相比之下，OLAP 使用非规范化的星型模式，因此更易于查询
• OLAP 用于预测分析，而 OLTP 通常用于更实际的情况，因为没有冗余。
• 数据仓库是一种 OLAP 数据库，通常由多个其他数据库组成。
• 数据挖掘是一种用于分析的工具，您可以使用计算机软件找出数据之间的关系，以便预测事物(例如客户行为)。

问题 2:

我对分析和分析之间的区别特别困惑。他们说分析是多维分析，但这到底是什么意思？

Answer 1

我将尝试从金字塔的顶端向您解释:

商业智能(你没有提到的)是 IT 中的一个术语，它代表一个复杂的系统，并从数据中提供有关公司的有用信息。

因此，BI 系统具有目标:干净、准确和有意义的信息。干净意味着没有技术问题(丢失 key 、不完整数据等)。准确意味着准确 - BI 系统还用作生产数据库的故障检查器(逻辑故障 - 即发票账单太高，或使用不活跃的合作伙伴等)。它是通过 规则 完成的。有意义很难解释，但用简单的英语来说，就是你所有的数据(甚至是上次 session 的 excel 表)，以你想要的方式。

因此，BI 系统有后端:它是数据仓库。DWH 就是一个数据库(实例，不是软件)。它可以存储在 RDBMS、分析数据库(列式或文档存储类型)或 NoSQL 数据库中。

数据仓库 是我上面解释的通常用于整个数据库的术语。可能有多个数据集市(如果使用 Kimball 模型)- 更常见，或者称为 企业数据仓库 的第三规范化形式(Inmon 模型)的关系系统。

数据集市 是 DWH 中相关的表(星型模式、雪花模式)。事实表(非规范化形式的业务流程)和维度表。

每个数据集市代表一个业务流程。示例:DWH 有 3 个数据集市。一是零售，二是导出，三是进口。在零售中，您可以按 SKU、日期、商店、城市等(维度)查看总销售额、售出数量、进口价格、利润(度量)。

在 DWH 中加载数据称为ETL(提取、转换、加载)。

1. 从多个来源(ERP 数据库、CRM 数据库、excel 文件、网络服务...)提取数据

2. 转换数据(清理数据、连接差异源数据、匹配键、挖掘数据)

3. 加载数据(加载特定数据集市中转换后的数据)

edit beautiful comment:ETL过程通常使用ETL工具创建，或者使用一些编程语言(python、c#等)和API手动创建。

ETL 过程是一组相关的 SQL、过程、脚本和规则，分为 3 个部分(见上图)，由元数据控制。它可以安排(每晚，每隔几个小时)或实时(更改数据捕获、触发器、事务)。

OLTP 和 OLAP 是数据处理类型。 OLTP 用于事务目的，在数据​​库和软件之间(通常只有一种输入/输出数据的方式)。OLAP 用于分析目的，这意味着有多个来源、历史数据、高选择查询性能、挖掘数据。

因评论而编辑:数据处理是数据存储和从数据库访问的方式。因此，根据您的需要，以不同的方式设置数据库。

图片来自http://datawarehouse4u.info/ :

数据挖掘 是在大型数据集中发现模式的计算过程。挖掘的数据可以让您更深入地了解业务流程甚至预测。

分析 是一个动词，在 BI 世界中意味着简单从数据中获取所询问的信息。多维分析实际上说明系统如何切片您的数据(多维数据集内的维度)。维基百科说，数据分析是一个检查数据的过程，目的是发现有用的信息。

Analytics 是一个名词，代表分析过程的结果。

不要对这两个词大惊小怪。