amazon-web-services - 升级 aws-glue-sessions 后出现 set_glue_version 异常

Question

在安装了 aws-glue-sessions 软件包版本 0.32 的情况下，在 Jupyter Notebook 中使用交互式 Glue session 可以正常工作。使用 pip3 install --upgrade jupyter boto3 aws-glue-sessions 升级到 0.35 版本后，内核无法启动。在 GlueKernel.py line 443 in set_glue_version Exception: Valid Glue versions are {'3.0', '2,0} 中给出错误消息，内核将无法启动。

恢复到版本 0.32 可以解决该问题。尝试安装 0.35、0.34、0.33 并出现错误，这让我觉得这是我做错了或不理解的事情，而不是产品中的东西。我还需要做些什么来升级 aws-glue-session 的版本吗？

Answer 1

我在这里也有点迷茫——而且很困惑。我要补充一点，我是 python 新手。我在 Windows 上运行整个程序。 AWS 有一篇文章描述了 installation .所以，我假设它是受支持的。我收到与@theOtherOne 相同的错误。set_glue_version 异常中的第 443 行:有效的 Glue 版本为 {'3.0', '2,0}

我检查了 glue_pyspark 的 GlueKernel.py，发现这段代码:

def _retrieve_os_env_variable(self, key):
  _, output = subprocess.getstatusoutput(f"echo ${key}")
  return output or os.environ.get(key)

当我手动运行下面的代码时，我得到了 $GLUE_VERSION 作为最终结果。这显然不匹配“2.0”或“3.0”。在 Windows 上检索环境变量的命令是不同的。如果我的理解是正确的，那么这整个事情将永远无法在 Windows 上运行。也许我是唯一一个想在 Windows 上运行它而没有其他人关心的人？我让它在 WSL 上工作，但仍然如此。我浪费了很多时间来修复一些无法修复(或者可以修复？)的东西

import subprocess
import os
_, output = subprocess.getstatusoutput(f"echo $GLUE_VERSION")
osoutput = os.environ.get("GLUE_VERSION")
print(output) #$GLUE_VERSION
print (osoutput) #'3.0'
print(output or osoutput) #$GLUE_VERSION