mysql - 从 Amazon S3 存储桶文件创建/更新 Amazon Athena 表

Question

我已经上传了 Amazon S3 存储桶中所有表的 MySQL csv 文件/MYSQL zip 文件。现在我想将 Amazon Athena 与 S3 存储桶文件链接起来。但是当我为不同的表编写模式时，每个表的选择查询都显示相同的结果。我搜索了很多，但无法理解执行此操作的确切/正确方法。

我想借助 S3 存储桶中的一个 csv/sql zip 文件在 Athena 中创建/更新不同的表架构。

Answer 1

Amazon Athena 将查看定义的 目录为数据。该目录中的所有数据文件都将被视为包含给定表的数据。

您使用的是 CREATE TABLE命令来定义架构并将 Athena 定向到目录，例如:

CREATE EXTERNAL TABLE test1 (
  f1 string,
  s2 string
) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES ("separatorChar" = ",", "escapeChar" = "\\") 
LOCATION 's3://my-bucket/data-directory/'

您将需要运行 CREATE EXTERNAL TABLE每个表的命令，每个表的数据应该在一个单独的目录中。 CSV 文件可以是 ZIP 格式(这使得查询速度更快、成本更低)。

作为自己编写这些表定义的替代方法，您可以 create a crawler in AWS Glue .将搜寻器指向数据目录，提供名称，搜寻器将检查数据文件并创建与文件匹配的表定义。