mongodb - 在 MongoDb 中存储 IOT 数据

Question

我目前正在将 IOT 数据流式传输到在 Docker 容器(托管在 AWS 中)中运行的 MongoDB。每天我都会收到几千个数据点。
我将使用收集的这些数据进行一些密集的数据分析和机器学习，这些数据将每天运行。
那么，这通常是如何存储大数据的呢？有哪些行业标准和最佳实践？

Answer 1

这取决于很多因素，例如，一个人正在分析的数据类型，一个人拥有多少数据以及您需要它的速度。

对于用户行为分析等应用，关系型DB最好。

好吧，如果数据适合电子表格，那么它更适合 SQL 类型的数据库，例如 Postgres、BigQuery，因为关系数据库擅长分析行和列中的数据。

对于半结构化数据，想想需要大量文本挖掘或图像处理的社交媒体、文本或地理数据，MongoDB、CouchDB 等 NoSQL 类型数据库效果最佳。

另一方面，在关系数据库中，可以使用 SQL 来查询它们。 SQL 作为一种语言在数据分析师和工程师中是众所周知的，并且比大多数编程语言更容易学习。

业界常用的存储大数据的数据库有:

关系型数据库管理系统:作为数据引擎存储，平台采用B-Tree结构。 B-Tree概念用于组织索引和数据，对数时间用于写入和读取数据。

MongoDB:如果您需要反规范化，可以使用此平台
表。如果您想求助于在单个文档中包含所有相关嵌套结构的文档以保持一致性，这是合适的。

Cassandra :该数据库平台非常适合前期查询和快速写入。但是，查询性能稍差，这使其成为时间序列数据的理想选择。 Cassandra 使用
存储引擎中的长结构合并树格式。

Apache HBase:该数据管理平台与
Cassandra 的格式。 HBase 还带有与 Cassandra 相同的性能指标。

OpenTSDB:该平台非常适合在几秒钟内收集数千条信息的物联网用户案例。仪表板需要收集的问题。

希望能帮助到你。