python - 每小时从 Datastore 高效地将数据导入 BigQuery - Python

Question

目前，我正在使用 Google 的两步法备份数据存储，然后将其导入 BigQuery。我还使用管道检查了代码。这两种方法效率不高且成本高，因为每次都要导入所有数据。我只需要添加上次导入时添加的记录。

正确的做法是什么？是否有关于如何在 python 中执行此操作的工作示例？

Answer 1

可以看看Streaming inserts .实际上，我现在正在考虑用 Java 做同样的事情。

如果您想每小时执行一次，您可以在每次将新实体放入数据存储区时将插入内容添加到拉取队列(作为序列化实体或键/ID)。然后，您可以使用 cron 作业每小时处理一次队列。