amazon-web-services - Amazon Athena - 无法在基本 SQL WHERE 查询上解析列

Question

我目前正在评估 Amazon Athena 和 Amazon S3。
我创建了一个包含一个表 (awsevaluationtable) 的数据库 (testdb)。该表有两列，x (bigint) 和 y (bigint)。

当我运行时:

SELECT * 
FROM testdb."awsevaluationtable"

我得到了所有的测试数据:


但是，当我尝试基本的 WHERE 查询时:

SELECT * 
FROM testdb."awsevaluationtable" 
WHERE x > 5

我得到:

SYNTAX_ERROR: line 3:7: Column 'x' cannot be resolved

我尝试了各种变体:

SELECT * FROM testdb.awsevaluationtable WHERE x > 5
SELECT * FROM awsevaluationtable WHERE x > 5
SELECT * FROM testdb."awsevaluationtable" WHERE X > 5
SELECT * FROM testdb."awsevaluationtable" WHERE testdb."awsevaluationtable".x > 5
SELECT * FROM testdb.awsevaluationtable WHERE awsevaluationtable.x > 5

我还确认 x 列存在于:

SHOW COLUMNS IN sctawsevaluation

这似乎是一个非常简单的查询，但我无法弄清楚出了什么问题。我在 documentation 中没有看到任何明显的东西.任何建议将不胜感激。

Answer 1

我已根据我当前的调查结果以及我与 AWS Glue 和 Athena 支持团队的联系编辑了对此问题的回应。

我们遇到了同样的问题 - 无法查询 CSV 文件中的第一列。问题归结为 CSV 文件的编码。简而言之，AWS Glue 和 Athena 目前不支持 UTF-8-BOM 中编码的 CSV。 .如果您在 Excel 或 Notepad++ 中打开使用字节顺序标记 (BOM) 编码的 CSV，它看起来就像任何以逗号分隔的文本文件。然而，在十六进制编辑器中打开它揭示了潜在的问题。文件开头有一堆特殊字符:  即 BOM。

在 AWS Glue 中处理 UTF-8-BOM CSV 文件时，它会保留这些特殊字符，然后与第一个列名称相关联。当您尝试查询 Athena 中的第一列时，您将生成错误。

在 AWS 上有解决方法:

在 AWS 胶中 ，编辑表架构并删除第一列，然后使用正确的列名重新插入，或

在 AWS 雅典娜 ，执行 SHOW CREATE TABLE DDL 将有问题的表脚本化，删除生成脚本中的特殊字符，然后运行脚本以创建一个可以查询的新表。

为了让您的生活更简单，只需确保您的 CSV 编码为 UTF-8。