Hadoop 支持 php、ruby

Question

我想知道使用 PHP 或 Ruby 可以完成什么级别的 hadoop 编程。我找到了有关可以从 PHP、Ruby 破解的 hadoop 流式 api 的文章。

我的问题

1. 你能用 PHP、Ruby 编写一个可以与其他 hadoop java map-reduce 作业一起工作的 map-reduce 作业吗？

2. 就 API 级编程而言，hadoop 中的非 java 语言缺少什么？即，与其他语言相比，目前只能在 Java 中完成的事情？

谢谢

Answer 1

简而言之 - 除了映射器和缩减器之外，hadoop 还有许多其他插件:组合器、输入/输出格式比较器。这些 plagins 只能用 java 编写。
因此，这意味着通过流式处理使用 hadoop 可以满足一些简单的情况，但会严重降低您的灵 active 。
流式处理也有些慢，因为使用不同的机制将记录传递给映射器和缩减器。