database - 将测量数据保存到数据库或文件系统中

Question

我们目前正在开发一种工具来计算通过指定区域的野生动物数量。自动计算动物数量的小工具将每隔 5 分钟通过 HTTP 向我们的 API 发送数据(天气、经过的动物数量等)。将有数百个这样的测量站，并且应该是可扩展的。

现在的问题是使用文件系统还是 RDBMS 来保存这些数据。

专业数据库

• 保存条目创建的确切时间和日期
• 通过索引键与区域#直接相关

Pro 文件系统

• 收集数据并不占用大量资源，因为对于每个 API 调用，只会将 1 行附加到文件中

数据的属性:

• 仅与 1 个 DB 条目相关(区域#)
• 测量站位于偏远地区，我们必须考虑停电

将如何处理数据

• 概述每个地区的时间段#
• 如果动物的数量出奇地低/高，则充当早期预警系统
  • 可能通过使用 cronjob 并与类似的数据进行比较

我们正在考虑选择一个 RDBMS 来保存数据，但我担心在数百万个条目之后数据库会变慢并最终停止工作。这个问题是asked here其中 360M 条目并不真正被视为“大数据”，所以我也不太确定我的任务。

我们应该选择these recommended techniques吗？ (MongoDB ...)或者这个任务可以由 PostgreSQL 或 MySQL 处理吗？

Answer 1

我为 marine boyes 创建了这样一个系统。设备使用 HTTP 或原始 tcp 套接字(以最小化带宽)通过 GPRS/iridum 发送数据。

• 接收服务器将数据存储在数据库表中，并提供数据和时间戳。
• 然后解析数据并在另一个表中创建记录。
• 设备还可以从服务器请求 UTC 时间，因此不需要 RTC。

在对“原始”表进行任何存储之前，将一行附加到文本文件。这非常适合日志记录或能够从数据库停机时间中恢复。

至于数据库类型，我建议使用常规 RDBMS。为您的数据定义标记。我们使用 4 位代码，为 10000 种度量值提供了余量。