java - Microsoft Azure 机器学习是否使用 Hadoop 作为其底层？

Question

我将使用 Microsoft Azure ML 进行一些文本分析，例如关键字提取，并且由于我的输入量很大，我想知道 ML 包是否实际上使用 Hadoop (HDP) 作为其底层？如果没有，如何将 ML 与 Hadoop 结合使用？

Mahout 有文本分析工具吗？

Answer 1

Microsoft Azure ML不使用hadoop。它使用一个自定义后端，独立运行实验的每个模块(并且在 DAG 允许的情况下并行运行)。

Azure ML 不是一个包，而是一个用于创建和实现 ML 解决方案的设计工作室。

您的数据集有多大？

Azure ML 目前支持约 6G 的数据进行训练。

如果您需要对数据进行预处理，建议您使用 hdinsight。这也是提取特定特征的好地方。对训练数据样本使用特征提取模块可以帮助确定关键列。

拥有大量数据从来都不是坏事。我建议将数据降采样到大约 512-1 gig 的小卡盘。确定该数据大小的准确性，然后扩展到 2 倍或 3 倍，最多 6 GB，看看您获得了多少准确性。