php - 处理和匹配大量数据

Question

我有一个包含请求数据的大型数据库表，很像 Apache 请求日志，大约有 5000 万行:

request_url
user_agent
created

包含如下数据:

/profile/Billy
Mozilla.....
2012-06-17...

/profile/Jane
Mozilla.....
2012-06-17...

然后我就有了我的用户数据库表，其中包含我的所有用户数据，包括用户名。

目前，每天晚上，我都会逐行处理前一天的请求数据，看看它是否包含与用户表中的用户名之一匹配的 URL。如果是这样，我会增加另一个存储统计信息的表中的总数，该统计信息允许用户查看他们在任何特定日期获得的综合浏览量。

但是，随着数据集的增长，这会变得资源密集型，并且可能需要很长时间才能完成，即使按 URL 对请求数据进行分组并获取该组的计数也是如此。

是否有更好的方法来处理这些信息以获得我需要的最终结果？无论如何，请求数据都会被记录，因此最好在事后生成统计数据，而不是在每个页面 View 上增加总数。

我在一台服务器上运行它，因此不需要在多台服务器上分布式处理数据。

Answer 1

每天从一个新的日志表开始。当一天结束时，用它来增加总数，然后将其附加到那个巨大的主日志表中并删除它。