api - GitHub Archive 2015 年 Google Big Query 存储库语言信息

Question

由于表的结构在 2015 年初发生了变化，因此我在从 GitHub Archive Google BigQuery 检索语言信息时遇到问题。

当查询 github_timeline 表时，我有一个名为repository_language 的字段。它使我能够获得我的语言统计数据。不幸的是，2015 年的结构发生了变化，该表不包含 2014 年之后的任何事件。例如，以下查询不返回任何数据:

select
repository_language, repository_url, created_at
FROM [githubarchive:github.timeline]
where
PARSE_UTC_USEC(created_at) > PARSE_UTC_USEC('2015-01-02 00:00:00')

2015 年的事件位于:githubarchive:month 和 githubarchive:day 表中。它们都没有语言信息(或者至少是repository_language 列)。

有人可以帮助我吗？

Answer 1

查看有效负载字段
我认为，它实际上包含带有所有“缺失”属性的 JSON

您可以使用 JSON Functions 来处理此问题

Added Query

尝试如下:

SELECT 
  JSON_EXTRACT_SCALAR(payload, '$.pull_request.head.repo.language') AS language,
  COUNT(1) AS usage
FROM [githubarchive:month.201601] 
GROUP BY language
HAVING NOT language IS NULL
ORDER BY usage DESC