python - gcp dataproc 如何在交互式登录和 ssh 命令之间使用相同的 python

Question

对于 gcp dataproc 集群，如果我通过 ssh 运行命令

gcloud compute ssh --internal-ip mycluster-m some_command.sh

我得到的python是

/usr/bin/python

但是当我登录时，我得到一个系统 conda python --

/opt/conda/default/bin/python

在我的脚本中采购 .bashrc 没有帮助，我看到 .bashrc 有

# If not running interactively, don't do anything
case $- in
    *i*) ;;
      *) return;;
esac

我认为这意味着它不会做任何事情 - 但是我没有看到 python 如何在 bashrc 中的后续内容中设置为 conda 环境(这是 dataproc 镜像版本 1.4)

另一个令人困惑的事情是如何在初始化脚本中安装包。我主要在 dataproc 上做临时交互工作，我学会了做类似的事情

sudo /opt/conda/default/bin/python3 -m pip install tensorflow<1.15 google-cloud-storage

让我的包裹可用。但是现在当我运行 ssh 命令时，我得到了不同的 python？

当我使用 ssh 命令时，我应该获取什么来让 conda python 运行？

Answer 1

SSH-with-command 只是通过 fork 而不是创建新的登录 shell 来运行命令，这就是未激活 python env 的原因。这是您没有获得用户 python 的几种情况之一。

对于您的用例，采购 /etc/profile.d/effective-python.sh 是一种合理的方法。