python - 大量数据记录的架构，数据库还是文件？

Question

我正在开发一个 Python 应用程序，我希望它可以扩展以适应每秒大约 150 次写入。这分布在大约 50 个不同的来源中。

Mongodb 是一个很好的选择吗？我对写入数据库有分歧，或者只是为每个源创建一个日志文件并分别解析它们。

对于记录大量数据还有其他建议吗？

Answer 1

我会说 mongodb 非常适合日志收集，因为:

1. Mongodb 具有惊人的快速写入
2. 日志不是那么重要，因此可以在服务器出现故障时丢失其中一些。所以你可以在没有 journaling 的情况下运行 mongodb 选项以避免写入开销。
3. 此外，您可以使用分片来提高写入速度，同时您可以将最旧的日志移动到单独的集合或文件系统中。
4. 您可以轻松 export数据从数据库到 json/csv。
5. 在数据库中拥有所有内容后，您将能够查询数据以找到您需要的日志。

所以，我的观点是 mongodb 非常适合日志之类的东西。您无需在文件系统中管理大量日志文件。 Mongodb 为您做这件事。