database-design - 如何构建和实现自助式自定义报告？

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

已关闭 4 年前。

Improve this question

需要什么类型的架构、设计和软件来提供类似于 Google Analytics 提供的出色自定义报告功能的功能。更具体地说，我们希望用户能够从列表中指定维度和指标并生成报告。

• 我们需要数据仓库吗？
• 我们需要 OLAP 吗？
• 是否可以访问数据层需要 ORM、动态 sql 或存储过程？
• 还有第三个吗派对或开源产品可以让我们分道扬镳？

是否还有其他人(公司、开发人员)在 Google 级别上完成了此功能？例子？

注意

我对建立 Google Analytics 竞争对手不感兴趣。我希望将报告的便捷性应用于我们自己独特的数据集。

谢谢

Answer 1

您肯定需要一个数据仓库，其中包含大量在非高峰时段运行的 ETL、聚合和预聚合流程。 OLAP 多维数据集并不能真正针对大容量 Web 分析进行扩展。

对于数据收集，您可能还想使用 MSMQ 或类似的以及硬件负载平衡。磁盘 I/O 是一个典型的瓶颈，因此在内存中工作并进行一些预聚合肯定会有所帮助。在我之前在 Microsoft 的工作中，我们的一些遗留数据收集系统直接记录到日志文件而不是数据库中。我们使用log parser )并且几乎全天候进行大量 ETL 和聚合。

数据收集是其核心，如果您打算扩展，则必须构建最先进的数据仓库。我们几乎完全依赖存储过程。我们有数千个，其中一些极其复杂且经过严格优化。除了性能之外，可扩展性也是一个大问题。