json - 无法使用 AWS Athena 加载简单的 Json 文件

Question

我有一个简单的 JSON 文件:

{'oldname':'mau'}

在 AWS Athena 中，我希望读取此文件并创建匹配表 t

CREATE EXTERNAL TABLE IF NOT EXISTS stats_json.t (
  `oldname` string 
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
) LOCATION 's3://mybucket/stats/';

然后我尝试查询:

select * from t limit 10;

并得到一个错误:

Query bceb274d-309f-40d5-a893-570de5f4ca4e failed with error code HIVE_CURSOR_ERROR: Row is not a valid JSON Object - JSONException: Missing value at 1 [character 2 line 1]

我哪里出错了？

Answer 1

我让它工作了，所以要回答我自己的问题，问题出在 JSON 文件的格式上。
似乎 AWS Athena(以及 org.openx.data.jsonserde.JsonSerDe)对它读取的 JSON 文件的格式相当挑剔。

每个 JSON 记录必须完全位于 1 行文本上，键和值之间没有空格。

在 Python 中，我按如下方式生成了 JSON 记录:

import json
dStatsRecord = {} # a valid json dict
with open('myfile.json', 'r') as oFile:
  json.dump(dStatsRecord, oFile, separators=(',', ':'))