mysql - 使用 Cron 将数据从 mysql 数据库导出到 CSV，然后将所有数据获取到 bigquery 表

Question

使用 Cron 将数据从 mysql 数据库导出到 CSV，然后读取此 csv 文件并使用 bigquery 将其所有数据获取到谷歌云

大家好，我有一个名为 db_test 的 Mysql 数据库，其中有一个名为 members_test(id, name) 的表。我正在研究 Linux Ubunto 操作系统。我正在尝试使用 cronjob 在午夜将数据从此表中提取到 CSV 文件中。此外，我想让 bigquery 以某种方式读取此 csv 文件并获取其数据并将它们放入保存在谷歌云平台上的名为 cloud_members_tab 的表中。

如何做到这一点？

Answer 1

1. 确保正确生成 CSV(不要依赖 MySQL CSV 本地导出)
2. 安装gsutil 和bq 命令行工具
3. 将 CSV 文件上传到 Google Cloud Storage

使用如下的 shell 命令:

gsutil cp -j -o="GSUtil:parallel_composite_upload_threshold=150M" /tmp/export.csv gs://bucket/export.csv

1. 使用bq加载

bq load --source_format=CSV --field_delimiter="," --null_marker="\N" --allow_quoted_newlines --autodetect --source_format=CSV dataset.tablename gs://bucket/export.csv