oracle - 如何在驻留在多个 oracle 数据库中的数据中实现数据分析？

Question

我不熟悉数据分析和大数据概念。我坚持决定，实现我的要求的技术是什么。

我的需求如下:

我的客户使用多个 Oracle 数据库作为其组织的 ERP 后端。这两个数据库具有不同的结构和不同类型的数据。我需要使用这两个数据库中的数据创建一个数据分析应用程序。我可以为这个实现采用什么技术。我可以使用 Hadoop 及其相关应用程序吗？

如果我使用 hadoop，如何将我的 oracle 数据库同步到 hadoop。我正在寻找实时同步的解决方案。

或者我可以使用与数据库的本地连接来实现数据库访问并创建我的新应用程序吗？数据库的大小约为 1.5 TB。

Answer 1

这个问题有很多层次，所以我会保持它的一般性，让您朝着正确的方向前进。

您提出了两种方法 - 一种将您的数据保存在 Oracle 中，另一种将其带到 Hadoop。

如果您继续使用 Oracle，您可能需要使用诸如 Informatica、Pentaho、SAS DI 或 SAS Enterprise 之类的 DI 工具来查询不同模式中的不同表，提取您需要的数据，并从本地调用分析步骤或通过集成 Python、R 或 Weka 脚本。

据我所知，Hadoop 本身并未与 Oracle 集成，而是管理自己的文件系统 HDFS。在 Hadoop 上运行的 Sqoop 作业可以从 Oracle 中提取并写入 Hive 或 HBase 表，然后您的集成将使用 Spark 上的 Hive Context，这使您能够执行分析。

您可以直接使用 R 或 Python 查询数据库。 Packt 曾一度提供有关使用 R 的商业智能的指南，其中包括有关使用 R 的 ETL(提取-转换-加载)过程的章节。我会告诉你这不是业内常见的解决方案，因为 R 主要是分析师的语言，而不是 ETL 开发人员的工具。也就是说，R 应该能够查询大多数 oracle 数据库，除非它们真的很旧并执行集成和分析。缺点是 R 的内核可能需要比 RStudio 提供的更多的处理能力和线程——这就是 Oracle SQL Developer 和 Toad 处理大规模查询的原因。 Python 可能可以使用 CX_oracle 库执行该方法。