Hadoop 3 : how to configure/enable erasure coding?

Question

我正在尝试设置 Hadoop 3 集群。

关于纠删码功能的两个问题:

1. 如何确保启用纠删码？
2. 我还需要将复制因子设置为 3 吗？

请指出与纠删码/复制相关的相关配置属性，以获得与 Hadoop 2(复制因子 3)相同的数据安全性，但具有 Hadoop 3 纠删码的磁盘空间优势(仅 50% 的开销，而不是200%).

Answer 1

在 Hadoop3 中，我们可以对 HDFS 中的任何文件夹启用纠删码策略。默认情况下，Hadoop3 中没有启用删除编码，您可以使用 setPolicy 命令并指定所需的文件夹路径来启用它。

1: 要确保纠删码已启用，您可以运行 getPolicy 命令。

2: 在 Hadoop3 中，Replication factor 设置将仅影响未通过纠删码 setPolicy 配置的其他文件夹。您可以在单个集群中同时使用纠删码和复制因子设置。

列出支持的删除策略的命令:

./bin/hdfs ec -listPolicies

启用 XOR-2-1-1024k 删除策略的命令:

./bin/hdfs ec -enablePolicy -policy XOR-2-1-1024k

将删除策略设置为 HDFS 目录的命令:

./bin/hdfs ec -setPolicy -path/tmp -policy XOR-2-1-1024k

获取给定目录的策略集的命令:

./bin/hdfs ec -getPolicy -path/tmp

从目录中删除策略的命令。即取消设置策略:

./bin/hdfs ec -unsetPolicy -path/tmp

禁用策略的命令:

./bin/hdfs ec -disablePolicy -policy XOR-2-1-1024k