gpt4 book ai didi

amazon-s3 - 既然QuickSight可以直接查询S3,那么什么时候我们需要使用Athena作为QuickSight的数据源呢?

转载 作者:行者123 更新时间:2023-12-03 00:00:15 25 4
gpt4 key购买 nike

可能我错过了一些东西,但我无法理解如果我将 Athena 与 QuickSight 连接而不是直接将 QuickSight 连接与 S3,我会得到什么好处。请帮助我理解这一点。

最佳答案

Amazon S3 是一种对象存储,旨在存储和检索任意数量的数据。基本上,它有一些原始数据或非结构化数据(采用某些文件格式.csv.tsv)。

Amazon Athena uses a managed Data Catalog to store information and schemas about the databases and tables that you create for your data stored in Amazon S3. So, Athena knows about the data and its structure (i.e. some schema) in S3.

此外,QuickSight还可以直接连接Athena数据库并查询数据进行分析。当您连接到 Athena 数据库时,您最有可能处理结构化或半结构化数据

当数据源是 Amazon Athena 时,不需要 Amazon S3 list 文件

直接连接到 S3 时的一些限制:-

No file specified in the manifest can exceed 1 GB in size, the total size of the all the files specified can't exceed 10 GB, and the total number of files specified can't exceed 1000.

当您使用 Amazon Athena 数据创建数据集时,上述限制不可用。

使用 Amazon Athena 数据创建数据集时的另一个功能:-

You can directly analyze the data without loading or load into SPICE and analyze the data.

结论:-

如果您尚未对 S3 文件执行任何操作,则可以直接使用 QuickSight 使用 S3 作为数据集。

如果您已将 S3 数据加载到 Athena 中,则可以使用 Athena 作为 QuickSight 的数据集。

通过使用 Athena 或任何其他数据源,您将获得一些好处,并且可以克服上面提到的一些限制(即文件大小)。

关于amazon-s3 - 既然QuickSight可以直接查询S3,那么什么时候我们需要使用Athena作为QuickSight的数据源呢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47354233/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com