个人中心
文章发布
退出
作者热门文章
- iOS/Objective-C 元类和类别
- objective-c - -1001 错误，当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
25
4
有没有办法根据 avro 模式直接从 parquet 文件在 Amazon Athena 中创建表？模式被编码到文件中，所以我需要自己实际创建 DDL 看起来很愚蠢。
我看到了this还有另一个duplication
但它们与 Hive 直接相关，它不适用于 Athena。理想情况下，我正在寻找一种无需在控制台上定义即可以编程方式执行此操作的方法。
最佳答案
现在使用 AWS Glue 或多或少是可能的. Glue 可以抓取一堆不同的数据源，包括 Parquet files on S3 .发现的表被添加到 Glue 数据目录并可从 Athena 查询。根据您的需要，您可以安排 Glue 爬虫定期运行，或者您可以使用 Glue API 定义和运行爬虫。
如果您有许多共享模式的独立数据 block ，您还可以使用 partitioned table以减少为 Athena 提供新负载的开销。例如，我有一些每日转储加载到按日期分区的表中。只要架构不变，您接下来需要做的就是 MSCK REPAIR TABLE。
关于java - Athena 从 parquet 模式创建表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43098859/
25
4
0
我在 Athena 中成功创建了数据库表。请参阅下面的查询。 CREATE EXTERNAL TABLE IF NOT EXISTS s3_access_logs_db.wafbucket_lo
我正在尝试与 aws athena 合作，对我们存储在 s3 中的 json 文件进行一些查询。所以，我设法创建了一个简单的模式，一切似乎都很好，直到我注意到我的一些文件没有被考虑在内。 文件的键是用
这个问题在这里已经有了答案: AWS ATHENA: user-defined variables (4 个答案) 关闭去年。 我在 aws-athena 中有一个 SQL，它看起来或多或少像这样
刚接触 AWS，第一次使用 Athena。将不胜感激任何帮助/澄清。 我将查询结果位置设置为 s3://aws-athena-query-results-{ACCOUNTID}-{Region}，无论
我正在尝试使用 Aws Athena 在 csv 文件上创建一个外部表，代码如下，但行 TBLPROPERTIES ("skip.header.line.count"="1")不起作用:它不会跳过 c
我需要将表中的某些字段隐藏到特定用户组。 我想到了创建一个查看 这允许我屏蔽这些字段。但是，一旦将权限设置为仅授予对 View 的访问权限，查询就会失败，因为它们还需要访问在 View 下正在查询的表
在 Athena 中创建表时，我无法使用特定文件创建表。有没有办法从给定的存储桶中选择以“year_2019”开头的所有文件？例如 s3://bucketname/prefix/year_2019*.
我有这个查询: SHOW PARTITIONS tablename; 结果是: dt=2018-01-12 dt=2018-01-20 dt=2018-05-21 dt=2018-04-07 dt=2
我一直在使用以下查询在 Athena 中创建一个表， CREATE EXTERNAL TABLE IF NOT EXISTS test.test_table ( `converteddat
我想将字符串的数据类型(例如:'2018-03-27T00:20:00.855556Z')转换为时间戳(例如:'2018-03-27 00:20:00')。 实际上我在 Athena 中执行查询: s
该表有一列像这样， data MAP 和行喜欢， id | data 1 | {"foo": 123} 2 | {"bar": 456} 那么，如何搜索 data["bar"] = 456？ 我
我觉得这应该很简单，但我一直在努力寻找正确的术语，请耐心等待。 我有两列，timestamp和 voltages这是数组 如果我做一个简单的 SELECT timestamp, voltages FR
我正在尝试从超集访问 Athena，连接成功并且可以在 SQL 编辑器中看到所有模式和表(启用在 SQL 实验室中公开此数据库)。 在 SQL 编辑器上加载元数据时返回以下错误: ERROR OCCU
有没有人尝试过从 Oracle Data Integrator 连接 AWS Athena。 我一直在尝试这个，但我找不到合适的 JDBC 连接字符串。 我遵循的步骤 https://docs.aws
运行 MSCK repair tablename 命令时，athena查询编辑器返回错误 tables not in metastore . 但是表存在，我可以在该表上查询。 我有数据保存在 S3形式
我想通过 API 在 Athena 中创建一个数据库。我在 S3 中有 Parquet 文件，我想使用 API 进行查询，我想使用 Athena 进行查询。 无论如何，我可以通过 Athena 的 A
如何从嵌套的 json 文件创建 Athena 表？这是我的示例 json 文件。我只需要选定的键值对，例如 roofcondition 和 garagestalls。 { "reportId":
如何从嵌套的 json 文件创建 Athena 表？这是我的示例 json 文件。我只需要选定的键值对，例如 roofcondition 和 garagestalls。 { "reportId":
我在 Amazon Athena 中获得了一张表，其中一列包含 XML 数据。这可能不是最好的方法，但我需要利用现有的资源。 据我所知，没有原生支持从这些 XML 中提取数据(比如使用 XPATH 等
我得到了以下格式的带有嵌套结构的 JSON 文档 { "id": "p-1234-2132321-213213213-12312", "name": "athena to the re
我是一名优秀的程序员,十分优秀！