gpt4 book ai didi

nosql - 用于文件I/O的Hbase。以及在远程客户端上连接HDFS的方法

转载 作者:行者123 更新时间:2023-12-02 20:14:15 24 4
gpt4 key购买 nike

请注意,在阅读之前,我的英语不太流利。
我是NoSQL的新手,现在尝试使用HBase进行文件存储。 -我将文件以二进制形式存储在HBase中。
我不需要任何统计信息。我只需要文件存储。
推荐!!!?

我担心I / O速度。

实际上,因为我找不到通过hadoop连接HDFS的任何方法,所以我想尝试使用HBase进行文件存储。我无法在客户端计算机上设置Hadoop。我试图找到一些库-例如JDBC for RDBMS-帮助客户端连接HDFS来获取文件。但是我什么也找不到,只是选择了HBase而不是连接库。

我可以从某人那里得到任何帮助吗?

最佳答案

这实际上取决于您的文件大小。在Hbase中,通常不建议存储文件或LOB,默认最大键值大小为10mb。我提高了该限制并使用> 100mb的值运行测试,但是您确实冒着OOME您的区域服务器的风险,因为它必须将整个值保存在内存中-谨慎配置JVM的内存。

当在hbase-users列表上询问这种类型的问题时,通常的回答是如果文件很大,建议使用HDFS。

您应该能够使用Thrift连接到HDFS,从而绕过在客户端计算机上安装Hadoop客户端的过程。

关于nosql - 用于文件I/O的Hbase。以及在远程客户端上连接HDFS的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6784300/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com