hadoop - hbase 导出快照 - CorruptedSnapshotException

Question

我正在做一个在 Hbase 中有 1TB 数据的项目。出于备份目的，我阅读了快照。

hbase 快照在一个集群上，我想导出到不同的集群，我得到了

Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.snapshot.CorruptedSnapshotException): org.apache.hadoop.hbase.snapshot.CorruptedSnapshotException:

那么我还需要在导出中包含哪些其他文件？

是否可以在另一个集群中恢复快照，例如通过 winscp 将快照目录从一个集群移动到另一个集群？

Answer 1

如果你因为这个原因得到 CorruptedSnapshotException 来自文件系统的快照信息不是 valid 。所以，请检查您的导出命令是正确的。

示例:

hbase class org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snapshot30072017 -copy-to hdfs://127.0.0.1:9000/hbase -mappers 8 -bandwidth 100

请阅读此Issue tracker .

上面的命令有八个映射作业，它们将运行以将所有快照导出到另一个带宽限制为 100 MB/s 的集群。

注意:

org.apache.hadoop.hbase.snapshot.ExportSnapshot 工具复制与快照相关的所有数据(HFiles、日志和快照元数据) 到另一个集群。

可以在这个hdfs 位置 下找到快照详细信息

/apps/hbase/data/.hbase-snapshot/(cloudera vm路径)，请将这些文件复制到另一个集群并使用 'restore_snapshot 'snapshot_name''

恢复

请阅读此HBase snapshot documentation .