hadoop - 我们可以将MapReduce用于分析之外的其他逻辑吗？

Question

我的项目是消息转发系统(我们正在通过MSC，HLR和VLR向用户手机发送短信)。实际的工作流程是从mysql数据库中获取手机号码并将短信转发到特定的手机。现在，我们每天向20L号码(客户)发送短信。使用c和c++技术开发。因此，如果使用MapReduce概念，是否可以将这20L分为两部分，并可以将sms转发到这些已分割的数字。请指导我这样做，如果我的问题有误，请不要紧张。

问候 ，
古纳塞卡

Answer 1

您必须将数据从mysql数据库移动到HDFS。由于mapreduce处理HDFS中的数据。因此，您可以尝试这些事情。

1.使用sqoop并将数据从mysql数据库导入HDFS。

2.关于并行化，在将数据存储在HDFS中时，框架将拆分文件并根据指定的块大小保存文件(默认为64 MB)。因此，您无需拆分20L数字。假设您要从mysql登陆到HDFS的文件为200 MB，那么您的文件将被拆分为4个拆分(3 * 64 + 1 * 8)。每个分割都将运行一个映射器，因此您将运行4个映射器。一切都可以根据您的需要进行配置。阅读Hadoop权威指南了解更多详细信息。