ruby - 如何使用 Ruby 在 Hadoop HDFS 中写入和读取文件？

Question

有没有一种方法可以使用 Ruby 来处理 HDFS Api？据我所知，没有多语言文件 Api，唯一的方法是使用 native Java Api。我尝试使用 JRuby，但此解决方案不稳定且不是很原生。我还查看了 HDFS Thrift Api，但它并不完整，也缺少许多功能(比如写入索引文件)。

除了使用 JRuby 或 Thrift Api 之外，还有其他方法可以使用 Ruby 处理 HDFS 吗？

Answer 1

github 中有两个项目符合您的要求。 ruby-hdfs为 Ruby 提供到 HDFS 的 native C 绑定(bind)。 ganapati与 Thrift 服务器接口(interface)。

您还可以直接对 file system shell 进行系统调用.例如:

cmd = "hadoop fs -mkdir #{hdfs_path}"
cmd += " 2> /dev/null"
system(cmd)
if $? == 0
  puts 'ok'
  exit(0)
else
  puts "Error: failed to create hdfs://#{hdfs_path}"
  exit(2)
end