mysql - Amazon SQS 汇集数据库写入

Question

假设我正在构建 netflix，我想通过用户 ID 和电影 ID 记录每个 View

格式为 viewID、userID、时间戳

但是，为了扩大规模，假设我们每秒获得 1000 次观看。将这些 View 排队到 SQS 是否有意义，然后我们的队列读取器可以一个一个地取消排队并将其写入 mysql 数据库。这样数据库就不会因写请求而重载。

这看起来行得通吗？

Answer 1

费萨尔

这是一个合理的架构；但是，您应该知道写入 SQS 比写入诸如 RabbitMQ(或任何本地)消息队列之类的东西慢很多倍。

默认情况下，SQS FIFO 队列支持每秒最多 3,000 strip 有批处理的消息，或最多每秒 300 条消息(每秒 300 次发送、接收或删除操作)而不带批处理。要请求提高限制，您需要提交支持请求。

话虽如此，从 SQS 入手并不是一个坏主意，因为它易于使用和调试。

此外，您可能想研究 MongoDB 的日志记录...查看以下引用资料:

MongoDB 非常适合日志记录

http://blog.mongodb.org/post/172254834/mongodb-is-fantastic-for-logging

上限集合

http://blog.mongodb.org/post/116405435/capped-collections

使用 MongoDB 进行实时分析

http://blog.mongodb.org/post/171353301/using-mongodb-for-real-time-analytics