mongodb - 这个场景是大数据项目吗？

Question

我参与了一个有两个阶段的项目，我想知道这是否是一个大数据项目(我是这个领域的新手)

在第一阶段，我有这种情况:

我必须收集大量数据

我需要存储它们

我需要构建一个向用户显示数据的 Web 应用程序

在第二阶段，我需要分析存储的数据并构建报告并对它们进行一些分析

一些关于数据量的例子；一天之内我可能需要收集和存储大约 86.400.000 条记录

现在我在考虑这种架构:

收集数据一些异步技术，如 Active MQ 和 MQTT 协议(protocol)

存储数据我正在考虑使用 NoSQL DB(mongo、Hbase 或其他)

现在这将解决我的第一阶段问题

但是第二阶段呢？

我在考虑一些大数据软件(如 hadoop 或 spark)和一些机器学习软件；所以我可以从数据库中检索数据，分析它们并以更好的方式构建或存储，以便构建良好的报告并进行一些特定的分析

我想知道这是否是最好的方法

您将如何解决这种情况？我走对了吗？

谢谢你

安杰洛

Answer 1

正如 siddhartha 所回答的，您的项目是否可以标记为大数据项目，取决于项目的上下文和业务领域/案例。

谈到技术栈，你提到的每一项技术都有特定的用途。例如，如果您有结构化数据，则可以使用任何具有查询支持的新年龄库。 NoSQL 数据库有不同的风格(列、基于文档、键值等)，因此技术选择再次取决于您拥有的数据类型和用例。我建议你在做最终电话之前做一些 POC 和技术分析。