amazon-s3 - Amazon Athena 相同的查询有时会因 HIVE_CURSOR_ERROR 而失败

Question

我有大量包含 JSON 对象行的日志文件存储在 Amazon S3 中。此文件使用 LZO 压缩。

格式使用 Hive 分区，如下所示

s3://bucket/logs/year=2017/month=01/day=01/log00_00.txt.lzo

表定义如下

CREATE EXTERNAL TABLE IF NOT EXISTS logs (
    attr1 string,
    attr2 string,
    attr3 string,
)
PARTITIONED BY (
    year string,
    month string,
    day string
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
) LOCATION 's3://bucket/logs/'
TBLPROPERTIES ('has_encrypted_data'='false');

当我尝试像这样执行一个月的查询时

SELECT COUNT(*) FROM logs WHERE year = '2017' AND month = '05';

查询总是失败

HIVE_CURSOR_ERROR: org.codehaus.jackson.JsonParseException: 
Unexpected character ('c' (code 99)): expected a valid value
(number, String, array, object, 'true', 'false' or 'null') at
[Source: java.io.ByteArrayInputStream@381dc2b6; line: 1, column: 2]

我尝试查询较少数量的数据，即在这样的一天

SELECT COUNT(*) FROM logs WHERE year = '2017' AND month = '05' AND day = '01'

虽然成功的概率非常高，但此查询有时会失败并出现上述错误。

所以现在当我必须查询一个月时，我必须对该月的每一天进行迭代，然后为失败的那一天重新运行执行。

我可以做些什么来解决这个问题吗？或者这是 AWS Athena 的错误？

Answer 1

这可能意味着其中一个结果具有意外的字符或值。可能是行中的解析错误或格式不正确的 JSON。

我可能会尝试选择与失败的日期选择相对应的没有约束的数据 block 。 (例如，select * from logs limit 10000;)并手动验证我每次都能获得年月日的预期结果。

手动验证的方法是将查询结果拉入 Linux/mac 框并执行类似 cat log | 的操作。 awk '{print $1 ""$2}' | uniq -c 假设您的第一列是年，第二列是月(并且它们是用空格分隔的)。这将为您提供前两个值的所有唯一值，您可能会注意到一些奇怪的值。

如果在同一天重新运行相同的 Athena 查询时断时续地失败，请向 AWS 开具支持票或切换到正则表达式模式并尝试收集一些导致失败的数据示例。