hadoop - 如何运行从 hdfs 到 s3 的加密 distcp？

Question

我喜欢将数据从我们的 hadoop 集群(内部部署)复制到 s3。我可以不加密。我还可以运行带有客户端加密的 s3cmd put。如何使用客户端加密进行 distcp？

Answer 1

最近的 Hadoop 版本应该可以很好地使用客户端加密进行传输。

为了安全并且不成为您设置细节的受害者，我会通过设置如下所示的存储桶策略来确保安全传输，禁止非安全传输。

{
    "Statement":[
        {
            "Action": "s3:*",
            "Effect":"Deny",
            "Principal": "*",
            "Resource":"arn:aws:s3:::bucketname/*",
            "Condition":{
                "Bool":
                { "aws:SecureTransport": false }
            }
        }
    ]
}