amazon-s3 - 如何使用 AWS Athena 读取加密的 delta 格式的 s3 数据集？

Question

我想知道我们是否支持通过 Athena 读取 KMS-CSE 加密增量格式数据集？

我正在浏览 https://docs.delta.io/0.5.0/presto-integration.htm其中没有提及任何有关加密支持的内容。

如果我在 s3 中使用 KMS-CSE 对 list 本身进行加密，我能否在 Athena 中成功读取它？

使用以下命令，我可以在 athena 中创建表。

CREATE EXTERNAL TABLE `delta_athena_demo`(
  `id` bigint)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://testing/_symlink_format_manifest/'
TBLPROPERTIES (
  'has_encrypted_data'='true')

但是当我查询时，出现以下错误:

Your query has the following error(s):

HIVE_UNKNOWN_ERROR: Detected encrypted objects. Please add TBLPROPERTIES (has_encrypted_data=true) to table properties.

---

(在 delta-users@googlegroups.com 中找到)

Answer 1

我联系了 AWS Athena 支持，他们确认 Athena 目前不支持从加密的符号链接(symbolic link)文本输入格式 list 中读取。他们将来可能会将此视为功能请求。