api - 如何在一个服务帐户下扩展 Google Analytics 应用程序？

Question

我们是一个分发平台，我们计划在我们的高流量网站的 Google Analytics (GA) 数据之上构建分析服务，作为为用户提供的服务。用户基本上可以看到他们上传到我们网站的 Assets 随着时间的推移表现如何。

为此，我们创建了一个小型 Web 应用程序，它允许用户通过 Node.js 应用程序 (oAuth2) 查询我们自己的 GA 数据，该应用程序向 GA 发出请求API位于一个带有我们的访问 token 的服务帐户下。

在稍微使用这个应用程序并开始扩展它之后，我们发现 GA API 有相当大的限制，这使得它很难扩展。

如果在一个服务帐户下发出请求，则每秒/ip 的请求数不能超过 10 个，且同一时间不得超过 4 个请求时间。这是一个令人震惊的问题，这使得我们无法向数百名用户推出我们的应用程序。

对于如何扩展在一个服务帐户下发出请求的 Google API 应用，您有什么建议吗？

Answer 1

您忘记了另一个限制。您每天每个 View (个人资料)最多可以发出 10,000 个请求。你很快就会耗尽这个配额。无法扩展该配额或每秒 10 个请求的配额。

我建议您创建一个脚本，将数据提取到您的服务器上，然后将该数据发送给您的用户。那么您只需向 GA 请求一次数据，就可以绕过所有配额限制。

第二个选项是创建多个客户端 ID 并将不同的客户端 ID 分配给不同的用户组。但在我看来，这不太可扩展，而且很难管理。所以我不建议你使用这个。

<小时/>

无法要求 Google 延长每秒 10 个请求或每天每次查看 10k 个请求。因为您总是从同一 View 发出请求，所以我认为最好的选择是每天晚上将数据提取到您自己的服务器上，然后从那里将其提供给您的用户。

由于您没有说明您正在使用什么平台或语言，所以我会给您一个可以做什么的示例，以及我个人为解决这个问题所做的事情。

我创建了一个自定义 SSIS 连接管理器，它使用 OAuth2 连接到 Google 的身份验证服务器。然后，我创建了一个自定义数据流任务，该任务使用连接管理器来获取与 Google Analytics API 的连接。然后，我创建了一个 SSIS 包，将我需要的信息请求到 SQL Server 中，该作业每晚都会运行，以确保我拥有所需的所有数据。

需要记住的一些事情:

1. 24 小时内的数据尚未完成处理，不必费心选择昨天的数据。之后数据就稳定了，因此您将不再需要再次请求。
2. 根据 Google 分析中的数据量，确保以较小的数据 block 请求数据，否则最终会出现采样或超时。但这取决于网站的繁忙程度。我有一个网站，一个月内有 150 万条记录，我被迫每天访问该网站，以防止超时。
3. 您可以使用 GA API 一次最多选择 7 个维度，但使用 creative filtering你可以稍微解决一下这个问题。

如果您发布一些有关您拥有什么类型的系统以及您可以使用什么编程语言的更多信息，我可能可以提供更多帮助。这只是一个例子。