amazon-web-services - Pyspark 数据帧从一个存储桶读取并在同一作业中使用不同的 KMS key 写入另一个存储桶

Question

几乎不需要帮助就可以为下面的用例找到更好的解决方案。
我有包含输入数据的 S3 存储桶，它用 加密KMS key 1
所以我可以使用 "spark.hadoop.fs.s3.serverSideEncryption.kms.keyId" 将 KMS KEY 1 设置为我的 spark session
并且能够读取数据，
现在我想将数据写入另一个 S3 存储桶，但它是用 加密的KMS key 2 *
所以我目前正在做的是，使用 Key1 创建 Spark session 并读取数据帧并将其转换为 Pandas 数据帧并终止 Spark session 并使用 KMS KEY2 在同一 AWS 胶水作业中重新创建 Spark session 并转换 Pandas 数据在上一步中创建以触发数据帧并写入输出 S3 存储桶。
但这种方法有时会导致数据类型问题。有没有更好的替代解决方案来处理这个用例？
提前致谢，非常感谢您的帮助。

Answer 1

您不需要声明使用什么 key 来解密用 S3-KMS 加密的数据；要使用的 keyID 作为属性附加到文件中。 AWS S3 读取加密设置，查看 key ID，将 KMS 加密的对称 key 发送到 AWS KMS，要求使用要求解密的用户/IAM 角色对其进行解密。如果用户/角色具有正确的权限，S3 会取回未加密的 key ，解密文件并将其返回。
要从使用 KMS-1 加密的存储桶中读取数据，您应该能够将 key 设置为 key2 值(或根本不加密)，并且仍然可以取回数据
免责声明:我没有用 EMR s3 连接器测试过这个，只是用 apache S3A 连接器测试过这个，但由于 S3-KMS 在任何地方都一样，我希望这能成立。使用客户端提供的 key S3-CSE 进行加密是另一回事。您确实需要正确配置客户端，这就是 S3A 支持每个存储桶配置的原因。