java - 适应 map 缩减框架有哪些挑战性问题？

Question

我在map reduce上开发了大约20个工作，包括pagerank算法。我从未发现任何具有挑战性的问题可以在线适应mapreduce框架。我想提高自己的技能。有这样的指南吗？

Answer 1

您正在寻找的是数据密集型编程任务。这是已经在StackOverflow发布的similar question。我想到了建议this project，因为来自维基百科的语料库很容易获得，但是正如您所看到的，它已经在进行中。

运行鱿鱼反向代理，并在一段时间内收集那些日志。现在，使用这些日志并尝试对它们进行有意义的解释，并将其存储在适当的数据库中以进行查询。这可能是个好项目。