hadoop - 如何将 Weka 与 Hadoop 连接起来？

Question

我有一个数据集，我需要为其处理 PCA(主成分分析，一种降维程序)，使用 Weka 可以很容易地进行处理。

而且由于数据集很大，Weka 显示出内存问题，如果我将 Weka 与 Hadoop 链接起来就可以解决这个问题。在服务器中使用 weka 运行算法。任何人都可以帮我解决同样的问题。如何将 Weka 与 Hadoop 连接起来以处理更大的数据集？请帮忙!

谢谢你..

Answer 1

Weka 3.7 有新的 Hadoop 分布式处理包。这些包提供的其中一项工作将计算 Hadoop 中的相关(或协方差)矩阵。用户可以选择让作业使用相关矩阵作为 PCA 分析的输入(这部分在 Hadoop 之外运行)并生成“训练有素”的 Weka PCA 过滤器。这会在实例数量上扩展 Weka 的 PCA 分析(但不会在原始特征的数量上扩展，因为 PCA 计算仍然在客户端本地进行)。

有关 Hadoop 包的更多信息，请参阅:

http://markahall.blogspot.co.nz/2013/10/weka-and-hadoop-part-1.html

分布式 WekaHadoop 包可以通过 Weka 3.7 中的包管理器安装。

干杯，马克。