gpt4 book ai didi

python - Google Cloud Composer 安装依赖项的时间太长

转载 作者:行者123 更新时间:2023-12-03 23:11:45 24 4
gpt4 key购买 nike

我正在关注 Google Cloud Composer 的文档到 install Python dependencies from PyPI在一个环境中。我使用此命令从需求文件安装库:

$ gcloud composer environments update $ENV_NAME \
--update-pypi-packages-from-file requirements.txt \
--location us-east4
这只是一个测试,这个需求文件只有4个库需要安装,但是执行这个命令需要20多分钟才能完成。所以我尝试使用用户界面并从那里安装一个包,但几乎花费了相同的时间。
有些东西对我来说没有意义,当我执行这些命令时,环境进入“更新状态”,并需要几分钟才能再次准备好。为什么 Composer 需要这么长时间才能执行 pip install ?
有没有人已经遇到过类似的问题?如何管理 Composer 中 Python 依赖项的安装?

最佳答案

Cloud Composer 环境需要很长时间才能更新的原因是该服务在 Google Kubernetes Engine 和 App Engine(用于网络服务器)中的分布式设置中部署 Airflow。这意味着该服务必须负责构建/重建容器镜像、将它们重新部署到您的集群、更新网络服务器应用程序等。

虽然这确实意味着安装软件包或对环境进行更新可能需要一些时间,但这正是 Composer 易于使用的原因 - 为您提供相当于 pip install 的一次性解决方案。即使你有几十个工作节点。

关于python - Google Cloud Composer 安装依赖项的时间太长,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56500044/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com