hadoop - 替换 HDFS Hadoop

Question

将 hadoop 中的 HDFS 替换为其他 NoSQL 数据库需要付出哪些努力。这涉及多少工作？有没有人有任何好的 wiki 或描述它的链接？是否像为该数据库实现 FileSystem 接口(interface)一样简单？

我找到了几篇关于其他人如何修改 hadoop 以生成自定义分布的文章，但没有找到替换 HDFS 的指南。

谢谢，部分

Answer 1

实现自己的DFS接口(interface)并使其与hadoop协同工作相对简单。您所需要的只是文件和目录的文件系统概念与您的存储之间的某种逻辑映射。
在 NoSQL 的情况下(如果我假设 KeyValue)，您应该决定如何表示目录。您可以做一些特殊的节点，也可以将路径放入键中。
另一个决策点——决定你是否关心数据局部性
关于文档，我认为 s3n DFS 实现的来源是最好的起点。
我认为关闭示例是由 DataStax 完成的 Hadoop over Cassandra http://www.datastax.com/
另一个例子(我们最近做过的事情)是 hadoop 与 OpenStack Swift 的集成。 http://bigdatacraft.com/archives/349