amazon-web-services - AWS胶水:忽略JSON属性中的空格

Question

我有一个带有JSON文件的数据集。这些JSON的某些条目在条目中有空格，例如

{
    'propertyOne': 'something',
    'property Two': 'something'
}

我已经由多个不同的搜寻器搜寻了此数据集，以尝试获取所需的架构。由于某种原因，在我的一个爬网中，空格被删除了，但是在尝试复制该过程时，我无法删除要删除的空格，并且在雅典娜中查询时出现此错误

HIVE_METASTORE_ERROR: : expected at position x in 'some string' but ' ' found instead.

位置x是JSON条目中“属性”和“两个”之间的空格的位置。

我只希望能够排除此字段或在爬网时删除空间，但不确定如何。我无法更改JSON格式。任何帮助表示赞赏

Answer 1

我相信，在这种情况下，您唯一的选择是创建自己的custom JSON classifier，以仅选择希望爬网程序添加到数据目录中的那些属性。

即如果只想检索propertyOne，则可以使用将JSONPath表达式指定为$.propertyOne。

还要注意，您的JSON应该用双引号引起来，单引号也可能在解析数据时引起问题。