python - 如何使用pycharm在远程spark集群中运行应用

Question

我已经在本地系统上安装了 PyCharm，并将其配置为在 Windows 中以本地模式运行 spark 应用程序。

我的 spark 集群位于远程 Ubuntu 盒子中。

如何从本地安装的 Windows 上的 PyCharm 运行 Ubuntu 上的远程 spark 集群中的 spark 应用程序？

我的目标是在远程集群中运行应用程序，因此也欢迎使用变通方法。

Answer 1

PyCharm 已经为此设置好了。理想情况下，您希望为您的设置设置一个部署 和一个远程解释器，最好是通过ssh。

这允许您将您的代码库上传到集群(以便 pyspark 驱动程序可以访问它)，但可以从您的笔记本电脑上运行它。然后，远程解释器负责解决集群上的依赖关系。看这里https://www.jetbrains.com/help/pycharm/configuring-remote-interpreters-via-ssh.html在这里 https://www.jetbrains.com/help/pycharm/creating-a-remote-server-configuration.html .

注意:在开始配置远程解释器之前，最好在集群上安装 venv 或 conda 并创建一个虚拟环境，这样您就没有任何依赖项或过时的包。然后将远程解释器配置指向环境的 python 二进制文件，例如 /app/anaconda3/envs/my_env/bin/python。