nosql - 用于文件I/O的Hbase。以及在远程客户端上连接HDFS的方法

Question

请注意，在阅读之前，我的英语不太流利。
我是NoSQL的新手，现在尝试使用HBase进行文件存储。 -我将文件以二进制形式存储在HBase中。
我不需要任何统计信息。我只需要文件存储。
推荐!!!？

我担心I / O速度。

实际上，因为我找不到通过hadoop连接HDFS的任何方法，所以我想尝试使用HBase进行文件存储。我无法在客户端计算机上设置Hadoop。我试图找到一些库-例如JDBC for RDBMS-帮助客户端连接HDFS来获取文件。但是我什么也找不到，只是选择了HBase而不是连接库。

我可以从某人那里得到任何帮助吗？

Answer 1

这实际上取决于您的文件大小。在Hbase中，通常不建议存储文件或LOB，默认最大键值大小为10mb。我提高了该限制并使用> 100mb的值运行测试，但是您确实冒着OOME您的区域服务器的风险，因为它必须将整个值保存在内存中-谨慎配置JVM的内存。

当在hbase-users列表上询问这种类型的问题时，通常的回答是如果文件很大，建议使用HDFS。

您应该能够使用Thrift连接到HDFS，从而绕过在客户端计算机上安装Hadoop客户端的过程。