kernel - 错误 : jupyter_client. kernelspec.NoSuchKernel:在作为 docker 容器运行的 Airflow/papermill 中没有出现名为 python3 的内核

Question

我正在尝试运行一个示例 papermill 笔记本，您可以找到它 here : 在官方 Apache Airflow 网址上

airflow-github

带有对应的 dag 文件，在上面指定的相同目录中找到。

我正在使用您可以找到的 docker-compose 程序集在本地运行它 here在 Airflow 网站上:

airflow-docker-page

我必须使用 Papermill 自定义构建图像，因为它看起来没有烘焙到图像中:

enter image description here

这是我遇到的一个错误:

raise NoSuchKernel(kernel_name)

jupyter_client.kernelspec.NoSuchKernel: 没有名为 python3 的内核

如何添加内核？

更新:我设法解决了这个问题，但现在有这个:

[2021-10-28，22:47:57 UTC] {execute.py:84} 信息 - 输入笔记本:/opt//dags/example_notebook.ipynb[2021-10-28、22:47:57 UTC] {execute.py:85} 信息 - 输出笔记本:out-2021-10-28T22:47:55.826195+00:00.ipynb[2021-10-28，22:47:57 UTC] {driver.py:192} 信息 - 从/home//.local/lib/python3.6/site- 生成语法表包/blib2to3/Grammar.txt[2021-10-28，22:47:57 UTC] {driver.py:195} 信息 - 将语法表写入/home//.cache/black/21.9b0/Grammar3.6.15.final .0.泡菜[2021-10-28，22:47:57 UTC] {driver.py:199} 信息 - 写入失败:[Errno 2] 没有这样的文件或目录:'/home/airflow/.cache/black/21.9b0/tmp27kcm8y_'[2021-10-28，22:47:57 UTC] {driver.py:192} 信息 - 从/home//.local/lib/python3.6/site- 生成语法表包/blib2to3/PatternGrammar.txt[2021-10-28，22:47:57 UTC] {driver.py:195} 信息 - 将语法表写入/home//.cache/black/21.9b0/PatternGrammar3.6.15.final .0.泡菜[2021-10-28，22:47:57 UTC] {driver.py:199} 信息 - 写入失败:[Errno 2] 没有这样的文件或目录:'/home/airflow/.cache/black/21.9b0/tmpnexc_sob'[2021-10-28，22:47:57 UTC] {warnings.py:99} 警告 -/home//.local/lib/python3.6/site-packages/IPython/paths.py:67: UserWarning: IPython parent '/home/***' is not a writable location, using a temp directory.“使用临时目录。”.format(parent))

Answer 1

我和你有同样的问题，

我通过在 Docker 文件中添加行来解决它

RUN pip install --upgrade pip ipython ipykernel
RUN ipython kernel install --name "python3" --user

然后

docker-compose build
docker-compose up

这是我的完整 Dockerfile

FROM apache/airflow:2.2.1   
COPY requirement.txt .   
RUN pip install -r requirement.txt
RUN pip install --upgrade pip ipython ipykernel   
RUN ipython kernel install --name "python3" --user
CMD python -m ipykernel_launcher -f $DOCKERNEL_CONNECTION_FILE