python - 我可以将 Papermill 和 Scrapbook 与 AWS EMR Notebooks 结合使用吗？

Question

我有几个笔记本，它们由使用造纸厂的“驱动程序”笔记本运行。这些笔记本电脑使用剪贴簿库向驾驶员传达信息。然后，驱动程序将此信息作为参数传递给其他笔记本。我想使用 EMR Notebooks 来优化这个“笔记本管道”的执行效率。 AWS EMR Notebooks 是否支持剪贴簿和 papermill，或者我需要重构我的笔记本吗？

Answer 1

到目前为止，还没有。你不能直接这样做。您可以做的(我们正在做的)如下:

1. 使用 hadoop 用户在 EMR 主节点上创建 Python 环境
2. 安装sparkmagic在您的环境中并按照 Sparkmagic 的 README.md 文件中的描述配置所有内核
3. 将您的笔记本复制到主节点/直接从 s3 位置使用它

4. 安装 papermill 并使用 papermill 运行:

   papermill s3://path/to/notebook/input.ipynb s3://path/to/notebook/output.ipynb -p param=1