Hadoop机器学习/数据挖掘项目构想？

Question

As it currently stands, this question is not a good fit for our Q&A format. We expect answers to be supported by facts, references, or expertise, but this question will likely solicit debate, arguments, polling, or extended discussion. If you feel that this question can be improved and possibly reopened, visit the help center提供指导。




已关闭8年。




我是CS研究生(数据挖掘和机器学习)，并且对Java的核心知识有很好的了解(> 4年)。我已经阅读了有关Hadoop和Map/Reduce的大量内容

我现在想在这个东西上做一个项目(在我的课余时间里)，以更好地理解。

任何优秀的项目构想将不胜感激。我只是想这样做学习，所以我真的不介意重新发明轮子。另外，与数据挖掘/机器学习有关的任何事情都会带来额外的好处(适合我的研究)，但绝对没有必要。

最佳答案

您还没有写任何有关您的兴趣的信息。
我知道图挖掘中的算法已通过hadoop框架实现。该软件http://www.cs.cmu.edu/~pegasus/和论文:“PEGASUS:Peta Scale图形挖掘系统-实现和观察”可能会为您提供起点。

此外，此链接讨论了与您的问题类似的内容:http://atbrox.com/2010/02/08/parallel-machine-learning-for-hadoopmapreduce-a-python-example/，但它在python中。
而且，Andrew Ng有一篇很好的论文，《多核机器学习的Map-Reduce》。

在NIPS 2009上有一个关于类似主题“大型机器学习:并行性和海量数据集”的研讨会。您可以浏览其中的一些文章并获得想法。

编辑:也有Apache Mahout http://mahout.apache.org/->“我们的基于聚类，分类和基于批处理的协同过滤的核心算法是使用map/reduce范式在Apache Hadoop之上实现的”

关于Hadoop机器学习/数据挖掘项目构想？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4894396/

上一篇：apache - 为什么 'mapred-site.xml'没有包含在最新的Hadoop 2.2.0中？

下一篇：hadoop - 尝试使用不支持这些操作的事务管理器进行更新或删除

相关文章：

r - 如何将实验性聚类算法与预期结果进行比较

java - 在 Hadoop 中运行非 mapreduce 工作

python - 有条件地将数据分为训练和测试(Pandas)

python - 如何存储/保存和恢复tensorflow DNNClassifier(没有要保存的变量)

machine-learning - LSTM/GRU 自动编码器收敛

r - 如何使 randomForest 模型尺寸变小？

MongoDB概念直接访问文件或访问导入数据(访问RAW数据)

hadoop - 重试连接到服务器:hadoopmaster/IP:9000

mongodb - 我们对 mongodb 使用 nosql 就像对 oracle 使用 sql 一样？

java - 添加自定义处理器后 Apache Nifi 不启动

Answer 1

您还没有写任何有关您的兴趣的信息。
我知道图挖掘中的算法已通过hadoop框架实现。该软件http://www.cs.cmu.edu/~pegasus/和论文:“PEGASUS:Peta Scale图形挖掘系统-实现和观察”可能会为您提供起点。

此外，此链接讨论了与您的问题类似的内容:http://atbrox.com/2010/02/08/parallel-machine-learning-for-hadoopmapreduce-a-python-example/，但它在python中。
而且，Andrew Ng有一篇很好的论文，《多核机器学习的Map-Reduce》。

在NIPS 2009上有一个关于类似主题“大型机器学习:并行性和海量数据集”的研讨会。您可以浏览其中的一些文章并获得想法。

编辑:也有Apache Mahout http://mahout.apache.org/->“我们的基于聚类，分类和基于批处理的协同过滤的核心算法是使用map/reduce范式在Apache Hadoop之上实现的”