scala - scala 上的 hadoop 有哪些选项

Question

我们正在启动一个基于大数据的分析项目，我们正在考虑采用 scala(类型安全堆栈)。我想知道可用于执行 hadoop、map reduce 程序的各种 scala API/项目。

Answer 1

一定要检查Scalding .作为用户和偶尔的贡献者，我发现它是一个非常有用的工具。 Scalding API 也意味着与标准 Scala 集合 API 非常兼容。就像你可以在普通集合上调用 flatMap、map 或 groupBy 一样，你也可以在 scalding Pipes 上做同样的事情，你可以把它想象成一个分布式元组列表。还有一个类型化的 API 版本，它提供更强的类型安全保证。我没有使用过 Scoobi，但 API 似乎与他们提供的类似。

此外，还有其他一些好处:

• Scalding 在 Twitter 的生产中大量使用，并且已经在 Twitter 规模的数据集上经过实战测试。
• 它在 Twitter 内外都有几位活跃的贡献者，他们致力于让它变得更好。
• 它可以与您现有的级联作业互操作。
• 除了 Typed API 之外，它还有一个 Fields API，R 和数据框架框架的用户可能更熟悉它。
• 它提供了一个强大的Matrix Library .