python - File To Google Cloud Storage Operator 的替代方案

Question

因此，我找到了 FileToGoogleCloudStorageOperator，它有助于将文件从本地系统移动到 Google Cloud。但是是否有类似的 Airflow 操作符可以将整个目录移动到 Google Cloud。

Answer 1

不是官方的，但创建一个非常容易，您可以重用 https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py 中的大部分逻辑。

您可以使用与上传单个文件相同的 GoogleCloudStorageHook，然后迭代目录，上传所有文件。这就是 GCS 的任何目录上传功能都会执行的操作。

根据您日常需要上传的文件量，您最好将上传分成多个任务。这样，如果一个上传任务失败，您不必重新启动所有文件的上传。但这取决于您的用例。