php - 有效处理 'Big Data' 的技术(读取、写入、查询、聚合)

Question

为 Web 应用程序构建概念验证分析仪表板功能，允许用户查看谁访问了他们的个人资料并查看了他们发布的内容。想想 .me 风格的仪表板。

当前，当用户在应用程序中执行相关操作时，正在将数据点(主语、动词、宾语、时间戳元组格式)写入 MySQL 表(该​​表正在迅速接近一百万条记录)。这种写入使用 cURL + cron 作业 + 消息队列机制不同步。

不确定如何以一种不会在我的服务器上占用太多资源的方式在分析仪表板上对这些数据进行实际整理、聚合和呈现。

寻找可以用这些东西简化我的生活的技巧、 war 故事和技术。

Answer 1

为什么不直接从 select 查询开始，看看它是如何执行的？
如果当你遇到缓慢时，你总是可以:

• 调整您的查询，使用内存表，通过触发器、黑洞表等发挥创意。
• 安装一个slave server并从slave中选择。
• 安装一个黑洞主机并附加多个从机

我建议您阅读高性能 MySQL:http://oreilly.com/catalog/9780596003067