mysql - 将 mysql 数据库导入 Bigquery 的最佳方法

Question

目前，我们有一个脚本可以创建数据库转储并将其滚动到 Amazon RDS 服务器上。这种情况每小时发生一次，当新的转储到达时，它的先前版本将被删除。

我希望在 Bigquery 中获取这些数据。做到这一点最简单的过程是什么？特别是:

1. 有没有办法将转储上传到 BQ，自动删除以前的版本？

2. 有没有办法自动将数据库从RDS复制到BQ，删除BQ端的先前版本？

对此的任何其他见解将不胜感激。

Answer 1

更改转储过程比尝试以这种方式创建导入脚本要好得多。将新记录流式传输到 BigQuery 将是实现此目的的最简单方法。如果您被所描述的转储过程所困扰，那么 Apache Airflow 将是一个不错的选择，正如 Mikhail 建议的那样。