logging - 使用 AWS 作为应用程序日志记录数据库

Question

我目前正在开发一个大型 Web 应用程序，该应用程序会生成大量日志数据。因为我们没有将所有事件记录到数据库的基础设施，所以我们将它们写入文件。不幸的是，这使得在日志中搜索特定事件变得非常困难，并且无法生成频率报告。

在尝试找出如何实现更好的数据库日志记录时，我发现了 Amazon 的服务。具体SimpleDB和 DynamoDB 。 SimpleDB 的用例之一是 logging ，但后来它指出

Amazon SimpleDB is designed to store relatively small amounts of data...

这似乎是矛盾的。这是我的问题:

1. 这些数据库服务适合记录应用程序事件吗？
2. 适合从日志数据生成报告吗？
3. 我会使用时间戳作为我的主键吗？
4. 此类服务有缺点吗？还是我应该考虑的其他问题？

更新 2018-06-13: 此后我使用 SimpleDB 来记录大型应用程序上的应用程序数据。关键是将日志划分为与其生成时间段(例如每天)相对应的域，以确保它们的增长不会超出限制。然后设置一个 CRON 作业来定期删除旧域。该解决方案效果良好并且易于搜索。

Answer 1

我的回答基于我在生产环境中使用 SimpleDB 的经验。

1. 我每天将数千个应用程序事件记录到 SimpleDB。
2. 我们有研究人员定期从 SimpleDB 中提取日志数据，他们从未提示过。我不确定是否要在 SimpleDB 本身上运行报告查询，但我不明白为什么这会成为问题，当我运行查询时，它们对我来说总是很快。
3. SimpleDB 对所有列建立索引，没有“主键”。
4. 我个人不喜欢使用为与 SimpleDB 交互而构建的第三方工具。另外，请根据您将使用的数据量和处理量来考虑价格。