mongodb - 数据记录和NoSQL

Question

我有一个监视设备的Saas应用程序。

我开发了传感器监控平台。
我的应用程序当前监督大约100,000传感器。
每15分钟记录一次值。

当前，每个度量都存储在单个MySQL表中(时间戳=>值)。
为了限制MySQL表中的行数，将单个传感器的所有点合并到每日日志中。

传感器的数量呈指数增长。
我的BDD已经是100GB。

通过这些措施，我必须合并daily, monthly, annual and total。

我的应用程序需要快速访问最近的数据，但是我必须保留至少10年的历史并可以查阅它们。
NoSQL architectures似乎是存储大量数据并进行合并的解决方案。

哪种解决方案最适合存储此类数据。

我测试了CouchDB。我在不同的NoSQL solution (Hadoop,cassandra, mongodb...)之间犹豫

我正在寻找有关这种经验的反馈。

Answer 1

我将根据我对您提到的某些技术的经验提供建议。

使用HDFS / Flume / Hadoop

您可能会考虑只编写纯文本文件，然后使用Flume(http://flume.apache.org/)将其移动到HDFS(http://en.wikipedia.org/wiki/Apache_Hadoop#Hadoop_Distributed_File_System)。

之后，您可以使用Hadoop及其所有工具针对存储在HDFS中的平面文件编写映射/缩减作业。 HDFS将使您能够很好地扩展存储大小。

使用Mongo

您可以在Mongo中设置一个副本集，然后水平扩展以存储日志数据，但是100GB的存储空间和不断增长的容量对于副本集而言可能有点太大。在Mongo中设置的副本(概念上与“集群”相同)不会无限扩展。

如果发现过载了副本集，则可以分片日志信息(也许通过传感器和ID条目？)，然后可以通过添加节点来无限期地扩展。

-我会发现您喜欢在其中编写查询。很多解决方案都可以水平扩展，但并非所有解决方案都具有相同的生态系统。