apache-spark - 在 aws EMR 中添加用于 spark 的 python 包

Question

我刚刚开始使用 AWS EMR 作为测试的一部分 - 我创建了一个引导文件，用于在我的 EMR 实例上使用 pip 安装特定的 python 包。我知道这是非常基本的事情。bash 脚本包含

#!/bin/bash
set -e
pip install typing --user

但是，当我作为一个步骤提交python脚本时，出现了以下错误

Traceback (most recent call last): File "py-calculate.py", line 6, in from typing import Iterable ImportError: No module named typing End of LogType:stdout

从外观上看，没有安装 typing 包。

Answer 1

如我所料，没有安装 typing 包。我以前的方法是修改bash脚本为

#! /bin/bash
sudo pip install -U typing

出于某种原因，这样效果更好。