linux - 在虚拟机上运行时如何查看 Dask 仪表盘？

Question

这是我现在正在做的:

• 在我的 Windows 笔记本电脑上，我通过 Putty SSH 连接到 Linux 服务器:IP 地址是 11.11.11.111

• 启动 Jupyter 笔记本:nohup jupyter notebook --ip=0.0.0.0 --no-browser &

  • 终端输出显示 Jupyter 笔记本正在运行:
  • http://(11.11.11.111 或 127.0.0.1):8889/?token=blahblahblah

• 在新笔记本中启动单机客户端:

  from dask.distributed import Client
  client = Client()
  

打印 client 显示仪表板位于 http://127.0.0.1:8787/status，但是，我无法在该 URL 找到仪表板。我也尝试过 http://11.11.11.111:8787/status 但这也没有用。

我仍然可以使用 Dask Dataframes 在我的笔记本中运行所有内容，但我只是不知道如何查看仪表板。 Bokeh 安装在服务器上，我正在通过 Anaconda 运行 Jupyter Notebook。

Answer 1

终于通过一些 SSH 隧道解决了这个问题。

关于问题的更多背景:

• 本地机器是 Windows 笔记本电脑
• 远程服务器是一台 CentOS 机器

目标实际上有两个:

1. 在包含 Dask 代码的远程服务器上运行 Jupyter Notebook

2. 从 Notebook 中运行的代码查看 Dask Dashboard

以下是我采取的步骤:

1. 对于这个例子，远程服务器的 IP 地址是 11.11.11.111

2. 遵循 Port Tunneling 的一些说明，我使用 8001 作为源端口，目标是 localhost:8889

3. 连接到远程服务器(具有 16 内核和 44.7GB RAM)后，我在 Putty 终端中运行了它:dask-worker tcp://11.11。 11.111:8786 --memory-limit=auto --nthreads=1 --nprocs=16 &

4. 在服务器上启动 Jupyter Notebook:jupyter notebook --ip=0.0.0.0 --port=8889 --no-browser &

   一个。运行上述命令后，输出显示 Jupyter 笔记本正在 http://(hostname or 127.0.0.1):8889/?token=blahblahblah

   运行

   打开浏览器并转到上面的 URL (http://hostname:8889/?token=blahblahblah) 将转到 Jupyter Notebook 主页

5. 创建新笔记本并运行以下代码:

   import dask.dataframe as dd
   from dask.distributed import Client
   client = Client('11.11.11.111:8786')
   print(client)
   

输出显示仪表板

    Client
    Scheduler: tcp://11.11.11.111:8786
    Dashboard: http://11.11.11.111:36124/status
    client = Client('11.11.11.111:8786')

    Cluster
    Workers: 16
    Cores: 16
    Memory: 44.70 GB

现在在浏览器窗口中输入 http://11.11.11.111:36124/status 会将我带到 Dask 仪表板。