asp.net - 如何处理网络统计模块的大量数据

Question

我正在为我的网站开发一个统计模块，它将帮助我衡量转化率和其他有趣的数据。

我使用的机制是 - 每次用户进入我的数据库中的特定区域时，将数据库条目存储在统计表中(我在 cookie 的帮助下避免重复记录)。

例如，我有以下区域:

1. 网站 - 用于统计唯一用户数量的一般区域，因为我最近不再信任 Google Analytics(分析)。
2. 类别 - self 描述。
3. 迷你网站 - self 描述。
4. 产品图片 - 每当用户看到产品和潜在客户提交表单时。

问题是一个月后，我的统计表中挤满了大量行，而我编写的用于解析数据的 ASP.NET 页面非常加载速度非常慢。

我想也许编写一个能够以某种方式解析数据的服务，但我看不到任何方法可以在不失去灵 active 的情况下做到这一点。

我的问题:

1. 大规模数据解析应用程序(例如 Google Analytics)加载数据的速度有多快？
2. 对我来说最好的方法是什么？
3. 也许我的数据库设计是错误的，我应该只将数据存储在一张表中？

感谢任何提供帮助的人，

艾坦。

Answer 1

您正在寻找的基本方法称为聚合。

您对根据数据计算的某些函数感兴趣，并且您不是在启动显示网站时“在线”计算数据，而是离线计算它们，或者通过夜间的批处理过程，或者在写入日志记录时增量计算.

一个简单的增强功能是存储每个用户/ session 的计数，而不是存储每次点击并对其进行计数。这会将您的分析处理要求减少一个因素(按每个 session 的点击次数的顺序)。当然，插入日志条目时会增加处理成本。

另一种聚合称为 online analytical processing ，它仅聚合数据的某些维度，并允许用户在浏览模式下聚合其他维度。这需要权衡性能、存储和灵 active 。