json - 使用 KQL 和外部 data() 运算符从 json 文件中提取信息

Question

尝试创建哨兵查询 (KQL)，它使用 externaldata() 运算符从 json 文件“https://www.gov.uk/bank-holidays.json”获取信息。我发现的问题是由于此 json 文件包含列/字段“日期”哨兵不允许将其作为变量。有人能够从外部文件获取多层 json 字段吗？

externaldata (title:string, date:string, notes:string, bunting:bool)[
    @"https://www.gov.uk/bank-holidays.json"
    ]
    with(format="multijson")

Answer 1

1. externaldata Operator 的创建是为了使基于 Azure Data Explorer (AKA Kusto) 的 SaaS 系统(例如 Log Analytics 和 Application Insights)的用户能够使用位于 Azure 存储中的外部数据。
   在不受支持的情况下从网站检索数据。
   有时有效，有时无效(取决于另一边的情况)。
   对于您的特定网址，它不起作用。
2. KQL 中的特殊名称可以用括号和单/双限定符表示，例如 ['date']或["date"]
3. 整个文档写在一行中。 json足够。不需要multijson .
4. 假定的架构错误 ( title:string, date:string, notes:string, bunting:bool )。
   JSON 在第一层有 3 个键，每个王国一个:"england-and-wales" , "scotland" & "northern-ireland" .
5. 虽然我们可以使用上面的键来读取 JSON，但我更喜欢将其读取为 txt或raw ，将其解析为 JSON，然后将其分解，如下面的查询所示。

externaldata(doc:string)
[h'https://<storage-account-name>.blob.core.windows.net/mycontainer/bank-holidays.json;<secret>']
with(format='txt')
| project parse_json(doc)
| mv-expand kind=array doc
| project   kingdom  = tostring(doc[0])
           ,division = doc[1].division
           ,events   = doc[1].events
| mv-expand events
| evaluate bag_unpack(events) 
//| sample 10

<表类=“s-表”><标题>国王部门彩旗日期注释标题 <正文>北爱尔兰北爱尔兰假2017-04-14T00:00:00Z耶稣受难日英格兰和威尔士英格兰和威尔士正确2017-05-29T00:00:00Z Spring 银行假期苏格兰苏格兰假2018-03-30T00:00:00Z耶稣受难日英格兰和威尔士英格兰和威尔士正确2018-12-25T00:00:00Z圣诞节北爱尔兰北爱尔兰假2019-04-19T00:00:00Z耶稣受难日英格兰和威尔士英格兰和威尔士正确2019-12-25T00:00:00Z圣诞节北爱尔兰北爱尔兰正确2020-01-01T00:00:00Z元旦苏格兰苏格兰正确2022-01-04T00:00:00Z替补日1月2日苏格兰苏格兰假2022-09-19T00:00:00Z伊丽莎白二世女王国葬银行假日苏格兰苏格兰正确2023-01-02T00:00:00Z替补日元旦