python - 为什么使用 "--requirements_file"将依赖项上传到 GCS？

Question

我目前正在使用这些参数生成一个模板:

        --runner DataflowRunner \
        --requirements_file requirements.txt \
        --project ${GOOGLE_PROJECT_ID} \
        --output ${GENERATED_FILES_PATH}/staging \
        --staging_location=${GENERATED_FILES_PATH}/staging \
        --temp_location=${GENERATED_FILES_PATH}/temp \
        --template_location=${GENERATED_FILES_PATH}/templates/calculation-template \

并且 SDK 正在将 requirements.txt 中指定的依赖项上传到暂存部分内的 GCS。我不明白...对我来说，使用这种文件将允许工作人员直接从官方 pip 注册表中提取依赖项，而不是从我的 GCS 中提取依赖项，对吗？

由于需要上传包，因此运行此命令的时间会很长:/

有什么解释为什么会发生吗？也许我做错了什么？

谢谢，

Answer 1

我相信这样做是为了使数据流工作线程启动过程更加高效和一致(无论是最初还是自动扩展时)。如果没有这个，每次 Dataflow Worker 启动时，该 Worker 都必须直接连接到 PyPI 以查找依赖项的最新匹配版本。相反，一组依赖项在管道启动时暂存，并在整个管道执行过程中一致安装在工作线程中。