python - 从 python 代码连接到远程 python 内核

Question

我一直在用PaperMill用于定期执行我的 python notebook。要执行计算密集型笔记本，我需要连接到在我的 EMR 集群中运行的远程内核。

对于 Jupyter 笔记本，我可以通过使用 jupyter notebook --gateway-url=http://my-gateway-server:8888 启动 jupyter 服务器来做到这一点。我能够在远程内核上执行我的代码。但是如何让我的本地 python 代码(通过 PaperMill)使用远程内核？在内核管理器中进行哪些更改以连接到远程内核？

我能找到的一个相关的 SO 答案是 here .这建议将端口转发到远程服务器并使用来自服务器的连接文件初始化 KernelManager。我不能这样做 blockingkernelmanager不再在 Ipython.zmp 中，我也更喜欢像 jupyter 那样的 HTTP 连接。

Answer 1

Hacky 方法 - 设置一个 shell 脚本来执行以下操作:

使用 hadoop 在您的 EMR 主节点上创建 Python 环境用户

安装 sparkmagic在您的环境中并按照 sparkmagic 的 README.md 文件中所述配置所有内核

将您的笔记本复制到主节点/直接从 s3 位置使用它

与造纸厂一起运行:

造纸厂 s3://path/to/notebook/input.ipynb s3://path/to/notebook/output.ipynb -p param=1

如果您的集群主节点每次都相同，则第 1 步和第 2 步是一次性要求。

稍微好一点的方法:

在您的 Jupyter 本身中设置远程内核:REMOTE KERNEL

通过选择此远程内核，将 papermill 作为普通笔记本执行

我将这两种方法用于不同的用例，现在它们似乎工作正常。