- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我可以访问结构类似于 bucket_name/year/month/day/file.gz 的 S3 存储桶,每天有数百个文件。我知道要在此数据上定义分区的 Athena 表,需要将其命名为 bucket_name/year=year/month=month/day=day。每天写一个 shell 脚本拼写(所以,一系列
aws cp --recursive s3://old_bucket/YYYY/MM/DD/* s3://new_bucket/year=YYYY/month=MM/day=DD/
对于数据集中 YYYY/MM/DD 的每个值)
有没有更简单的方法来解决这个问题?我知道 ALTER TABLE ADD PARTITION
但它似乎又要求我单独指定每个分区。
最佳答案
您根本不需要重命名这些文件。虽然大多数示例确实使用了 Hive-style naming convention雅典娜不需要它。
There are many ways to add partitions to an Athena table .在你的情况下,我会选择 partition projection ,这将使新的数据分区立即可用。或者,您可以使用 ALTER TABLE … ADD PARTITION
手动添加分区.
要创建一个配置了分区投影的表,您可以以此为起点:
CREATE EXTERNAL TABLE my_table (
…
)
PARTITIONED BY (
`date` string
)
TBLPROPERTIES (
"projection.enabled" = "true",
"projection.date.type" = "date",
"projection.date.range" = "2020/01/01,NOW",
"projection.date.format" = "yyyy/MM/dd",
"storage.location.template" = "s3://bucket_name/${date}/"
)
然后你可以查询你的表
SELECT *
FROM my_table
WHERE "date" = '2020/10/24'
请注意,日期列/分区键是一个字符串而不是 DATE
. Athena 将获取字符串并将其插入到 storage.location.template
给出的 URI 中。 .分区投影非常聪明,我鼓励你 read the docs找出….range
是什么例如,属性(property)确实如此。
另请注意 date
是一个保留字,要在 DDL 中使用它,您必须在反引号中引用它,但在查询中它需要用双引号引起来。如果你想避免必须总是引用你可以给它命名其他东西,但如果你这样做你需要在 PARTITIONED BY
中更改名称部分和 TBLPROPERTIES
部分。
分区投影的替代方法是手动添加分区,这是一项相当新的功能。您可以使用 Glue Data Catalog API 执行此操作,我认为这在编写代码时更可取,或者您可以使用 DDL 执行此操作,它更紧凑且更容易适应 Stack Overflow 答案。
假设您有一个按 date
分区的表像上面一样(但没有 TBLPROPERTIES
因为它们是特定于分区投影的),您可以像这样添加分区:
ALTER TABLE my_table ADD IF NOT EXISTS
PARTITION (`date` = '2020-10-22') LOCATION 's3://bucket_name/2020/10/22/'
PARTITION (`date` = '2020-10-23') LOCATION 's3://bucket_name/2020/10/23/'
PARTITION (`date` = '2020-10-24') LOCATION 's3://bucket_name/2020/10/24/'
然后您可以像这样查询您的表:
SELECT *
FROM my_table
WHERE "date" = '2020-10-24'
请注意,我添加的分区的分区键值与日期在 S3 URI 中的表示方式不完全对应(我以标准 ISO 方式使用破折号而不是斜杠来格式化日期)。手动添加分区时,分区键的值和 S3 URI 之间根本不需要任何对应关系。
有些人会告诉您,您必须对 Athena 使用 Hive 样式的分区,然后您应该使用 MSCK REPAIR TABLE
添加分区。 .事实并非如此,正如我希望我在上面显示的那样,使用该命令添加分区不是一个好主意,它适用于几个分区,但是 eventually it will start timing out .
关于amazon-s3 - 为 Athena 分区重命名 S3 文件夹结构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64506423/
我正在尝试使用谷歌浏览器的 Trace Event Profiling Tool分析我正在运行的 Node.js 应用程序。选择点样本后,我可以在三种 View 之间进行选择: 自上而下(树) 自上而
对于一个可能是菜鸟的问题,我们深表歉意,但尽管在 SO 上研究了大量教程和其他问题,但仍找不到答案。 我想做的很简单:显示一个包含大量数据库存储字符串的 Android ListView。我所说的“很
我已经开始了一个新元素的工作,并决定给 Foundation 5 一个 bash,看看它是什么样的。在创建带有水平字段的表单时,我在文档中注意到的第一件事是它们使用大量 div 来设置样式。所以我在下
我有一个 Windows 窗体用户控件,其中包含一个使用 BeginInvoke 委托(delegate)调用从单独线程更新的第 3 方图像显示控件。 在繁重的 CPU 负载下,UI 会锁定。当我附加
我有一堆严重依赖dom元素的JS代码。我目前使用的测试解决方案依赖于 Selenium ,但 AFAIK 无法正确评估 js 错误(addScript 错误不会导致您的测试失败,而 getEval 会
我正在制作一款基于滚动 2D map /图 block 的游戏。每个图 block (存储为图 block [21][11] - 每个 map 总共 231 个图 block )最多可以包含 21 个
考虑到以下情况,我是前端初学者: 某个 HTML 页面应该包含一个沉重的图像(例如 - 动画 gif),但我不想强制客户缓慢地等待它完全下载才能享受一个漂亮的页面,而是我更愿意给他看一个轻量级图像(例
我正在设计一个小软件,其中包括: 在互联网上获取资源, 一些用户交互(资源的快速编辑), 一些处理。 我想使用许多资源(它们都列在列表中)来这样做。每个都独立于其他。由于编辑部分很累,我想让用户(可能
我想比较两个理论场景。为了问题的目的,我简化了案例。但基本上它是您典型的生产者消费者场景。 (我关注的是消费者)。 我有一个很大的Queue dataQueue我必须将其传输给多个客户端。 那么让我们
我有一个二元分类问题,标签 0 和 1(少数)存在巨大不平衡。由于测试集带有标签 1 的行太少,因此我将训练测试设置为至少 70-30 或 60-40,因此仍然有重要的观察结果。由于我没有过多地衡量准
我是一名优秀的程序员,十分优秀!