python - 当数据从 Google Datastore 流向 BigQuery 时多次更新行

Question

我们正在尝试将数据存储实体更新作为流输入推送到 BigQuery 以提供实时数据分析。

数据存储中的每个实体将在一天内更新多次。当我们推送实体时，我需要确保只有最新的数据才应该被 bigquery 记录。我该如何存档？

Answer 1

据我所知，没有从 Datastore 到 BigQuery 的内置流式传输路径。支持的是制作数据存储备份(导出到 Cloud Storage)并使用加载作业将备份加载到 BigQuery。

除了使用作业将数据加载到 BigQuery 之外，您还可以选择使用 tabledata().insertAll() 方法将数据一次一条记录地流式传输到 BigQuery。这种方法可以在不延迟运行加载作业的情况下查询数据。

通常，流式数据在第一次流式插入到表中后的几秒钟内即可用于实时分析。然而，流缓冲区中的数据可能暂时不可用。当数据不可用时，查询会继续成功运行，但会跳过一些仍在流式缓冲区中的数据。

有关详细信息，您可以查看以下链接:

Link-1 Link-2