amazon-web-services - Amazon S3 list 文件是否支持 Parquet 格式？

Question

根据 this AWS documentation似乎 Amazon S3 不支持 list 文件中的 Parquet 格式，但我觉得这很难相信，因为这是一种非常常用的文件格式，对于 Athena/Redshift，你应该使用我所理解的 Parquet 格式。这是另一份文档，它引用了与 Redshift 和 parquet 文件格式相关的 S3 list 文件，但我不太确定它的确切含义 https://docs.aws.amazon.com/redshift/latest/dg/loading-data-files-using-manifest.html .

我只是尝试使用我的一个 S3 存储桶中的一些 Parquet 文件在 Amazon QuickSight 中创建一个数据集。我尝试在我的 list 中省略 globalUploadSettings 字段并能够提取数据，但 QuickSight 不知道它是什么类型的文件，所以它只显示带有一堆 � 字符的信息。

我目前拥有的 list :

{
    "fileLocations": [
        {
            "URIPrefixes": [
                "https://s3.amazonaws.com/myBucket/myFolderWithData/"
            ]
        }
    ]
}

Answer 1

AWS S3 不支持 list 文件中的 parquet 格式，但您可以使用 Athena 作为数据集来支持 parquet 格式。

导入文件数据

您可以使用 Amazon S3 或本地(本地)网络中的文件作为数据源。 QuickSight 支持以下格式的文件:

CSV and TSV – Comma-delimited and tab-delimited text files

ELF and CLF – Extended and common log format files

JSON – Flat or semistructured data files

XLSX – Microsoft Excel files

QuickSight 支持 UTF-8 文件编码，但不支持 UTF-8(带 BOM)。

Amazon S3 中已使用 zip 或 gzip 压缩的文件 (www.gzip.org), 可以按原样导入。如果您对 Am​​azon S3 中的文件使用了其他压缩程序，或者文件位于您的本地网络上，请在导入它们之前取消压缩。

https://docs.aws.amazon.com/quicksight/latest/user/supported-data-sources.html