mysql - BI架构建议

Question

我想就我们的 BI 架构获得一些建议，该架构的维护非常复杂。

我在一家电子商务公司工作，我们的产品在 LAMP 系统(Linux Apache MySQL PHP)上运行。

每晚:

• 我们的产品数据库 (MySQL) 中的数据使用 Talend 提取，然后插入另一个名为 DWH 的 MySQL 数据库作为数据仓库
• 来自这个 DWH 的数据然后由 Jedox/Palo 提取以加载 OLAP 多维数据集，这些多维数据集由 Excel 与插件一起使用以进行恢复
• 来自此 DWH 的数据也可以通过 Access/Excel 一次性报告访问，但这不是很好

每次我们需要修改现有工作流程或创建新报告时，都会有很多步骤和不同的技术要使用，这导致我们需要一个相当复杂的平台。

我可以做些什么来简化这个过程？

Answer 1

作为数据仓库加载过程的一部分，您应该能够使用提供的 Palo 组件使用 Talend 加载 Palo OLAP 表，这应该减少以与主 ETL 过程分开的方式执行 ETL 工作。

Roberto Machetto 的博客有一些 interesting tutorials关于如何执行此操作的信息，我相信互联网上有更多示例，当然您可以在这里询问您遇到的任何具体问题。

一旦您的所有数据正确加载到数据仓库和任何 OLAP 多维数据集，您的用户就应该能够在数据存储时对数据运行任何定制或其他查询。如果您看到用户无法访问适当的数据进行分析的情况，那么应该通过正确理解维度建模在初始数据仓库/OLAP 多维数据集加载中解决这个问题。