google-analytics - 将 Google Analytics 数据提取到 S3 或 Redshift

Question

我正在寻找将 Google Analytics 数据(以及历史数据)提取到 Redshift 中的选项。欢迎任何有关工具和 API 的建议。我在网上搜索并发现 Stitch 作为 ETL 工具之一，帮助我更好地了解这个选项和其他选项(如果有的话)。

Answer 1

Google Analytics 有一个 API ( Core Reporting API )。这对于获取偶尔的 KPI 很有用，但由于 API 限制，它不适合导出大量历史数据。

对于大数据转储，最好使用 BigQuery 的链接(“链接”是因为我想避免使用“集成”一词，这意味着比您实际拥有的控制级别更高)。

设置到 BigQuery 的链接相当简单 - 您在 Google Cloud Console 中创建一个项目, 启用计费(BigQuery 是收费的，它不是 GA360 契约(Contract)的一部分)，在“IAM&Admin”部分添加您作为 BigQuery 所有者的电子邮件地址，转到您的 GA 帐户并在 GA Admin 部分输入 BigQuery 项目 ID， “属性设置/产品链接/所有产品/BigQuery 链接”。此处描述了该过程:https://support.google.com/analytics/answer/3416092

您可以在标准更新和流式更新之间进行选择 - 后者需要额外付费，但可以为您提供近乎实时的数据。前者每 8 小时每天更新 BigQuery 中的数据 3 次。

导出的数据不是原始数据，它已经被 session 化(即，虽然您每次点击都会得到一行，但该点击的流量归因将基于 session )。

您将支付三种不同的费用 - 一种用于导出到 BigQuery，一种用于存储，一种用于实际查询。定价记录在此处:https://cloud.google.com/bigquery/pricing .

定价取决于地区等因素。当涉及法律事务时，存储数据的区域也可能很重要 - 例如如果您必须遵守 GDPR，您的数据应存储在欧盟。确保你选择正确的区域，因为在区域之间移动数据很麻烦(你需要将表导出到谷歌云存储并在适当的区域重新导入它们)并且有点昂贵。

您不能只删除数据并进行新的导出 - 在您第一次导出时，BigQuery 将回填过去 13 个月的数据，但它只会在每个 View 中执行一次。因此，如果您需要历史数据，最好做到这一点，因为如果您删除 BQ 中的数据，您将无法恢复。

我实际上对 Redshift 了解不多，但根据您的评论，您希望在 Tableau 中显示数据，而 Tableau 直接连接到 BigQuery。

我们使用自定义 SQL 查询将数据导入 Tableau(Google Analytics 数据存储在日常表格中，自定义 SQL 似乎是查询多个表格数据的最简单方法)。 BigQuery 有一个基于用户的缓存，只要查询不发生变化，缓存就会持续 24 小时，因此您不会在每次打开报告时都为查询付费。关注成本仍然是一个好主意——成本不是基于结果大小，而是基于为产生想要的结果而必须搜索的数据量，所以如果你在很长的时间范围内查询，也许做几个连接，单个查询可能会花费几十欧元(乘以使用该查询的用户数)。