mongodb - 哪种 NoSQL 解决方案最适合存储 Apache error_log 和 access_log？ Cassandra 还是 MongoDB？

Question

我们为 PHP 开发了 PaaS 解决方案。作为其中的一部分，我们为开发人员提供通过我们的 API 查看 Apache error_log 和 access_log 文件的功能。

目前，我们将日志写入每个部署(虚拟主机)单独的磁盘文件中。

由于这对于更多数量的节点和部署来说扩展性不太好，即使文件位于分布式文件系统 (GlusterFS) 上，我们也希望切换到更好的系统。

特别是出于计费和统计原因，我们不希望每次都解析日志文件。

由于 MongoDB 的 copped 集合对于日志记录来说看起来很棒，所以我们想要这样做。但事实证明，它们似乎无法与自动分片一起使用，这破坏了我们的重点，因为我们期望写入次数多于读取次数。

另一个选择是 Cassandra，我喜欢它，因为它的每个节点都是平等的方法，但它们没有诸如上限集合之类的东西。

事实证明，这两种解决方案都没有提供帮助我做出决定的独特功能，或者我看不到它。

所以我想知道有人以前使用过这两个系统之一进行日志记录吗？你有什么经验，可以给我一些建议吗？或者还有其他更适合我们需求的解决方案吗？

Answer 1

Turns out neither of the two solutions offers a distinct feature that helps me make a decision, or I don't see it.

老实说，我们现在正在使用一些重要的日志数据进行此测试。 (我的意思是，我们中的一些人昨晚熬夜运行这些测试)。

对我来说，有两个显着特征:易于使用和经过验证的扩展。

易于使用

• MongoDB 很简单。在几个小时内，我从空白计算机转到一个事件的 Mongo 实例，其中包含从 MySQL 导入的数据和一些已完成的 Map-Reduce。
• 在同一时间段内，Cassandra 团队重新编译 Java 文件，尝试将 Hadoop 配置为在现有 Cassandra 实现上运行，以便他们甚至可以运行 Map-Reduce。

经过验证的扩展

• MongoDB 分片仍处于测试阶段。它预计将在未来几周内推出。这相当严格。
• Cassandra 分片已在一些非常大的实例上得到验证。

所以我认为答案确实取决于您的个人品味。老实说，我认为 Cassandra 可能是一个更稳定且经过验证的产品，但我也从经验中知道学习和设置曲线要陡峭得多。因此，两者都尝试一下可能值得。