gpt4 book ai didi

hadoop - 更改HBase WAL位置

转载 作者:行者123 更新时间:2023-12-02 21:04:56 29 4
gpt4 key购买 nike

我打算将HBase与gs://方案(谷歌存储桶)一起使用,但gs:// fs不能与WAL文件一起使用。

Cause:
java.io.IOException: cannot get log writer
Caused by: java.io.IOException: createNonRecursive unsupported for this filesystem class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem

正如我发现的那样,应该将WAL文件与HBase根目录分开存储,例如: https://docs.aws.amazon.com/emr/latest/ReleaseGuide/images/hbase_s3.png

所以,我的问题是-如何分离数据文件和WAL文件。要将数据存储在gs://中,将WAL存储在hdfs://中... ...不幸的是,我自己仍然找不到它...

提前谢谢了

最佳答案

当前的稳定版本不支持将WAL存储在hbase.rootdir之外的其他位置。
计划在将来的发行版中ref https://issues.apache.org/jira/browse/HBASE-17437

关于hadoop - 更改HBase WAL位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42213456/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com