gpt4 book ai didi

amazon-web-services - AWS Glue 开发终端节点无法正常工作

转载 作者:行者123 更新时间:2023-12-04 04:02:05 24 4
gpt4 key购买 nike

我正在尝试使用开发端点以交互方式运行和编辑 ETL 脚本,但是在创建它之后开发端点似乎存在一些问题,因为我在 scala/python REPL 中遇到错误并且也无法执行 SSH 隧道到远程口译员。让我解释一下我到底做了什么——我在 AWS 控制台中使用所有默认配置创建了一个开发端点。在创建开发端点时,我只提供了三样东西“开发端点名称”和“IAM 角色”以及我的“pub ssh key ”。这是创建后的样子

enter image description here

然后在创建连接到 spark/python REPL 的端点之后,我能够成功连接到它们,但在连接后的几分钟内,REPL 开始抛出错误而无需编写一行代码。这发生在开发端点中存在的所有 REPL 中。

enter image description here

此外,当我尝试通过 SSH 隧道连接到远程解释器以连接我的本地 Zeppelin 笔记本时,它正在抛出 - “绑定(bind):无法分配请求的地址”。

虽然有几件事是有效的 -

  • 能够通过 ssh 连接到端点。
  • 在附加到此开发端点的 AWS 胶水中创建了一个 Sagemaker 笔记本,此笔记本似乎运行良好,但肯定会增加额外成本,我不想继续使用它。

任何人都可以帮助我做错什么吗?创建开发端点后,我是否遗漏了需要在机器上完成的任何重要步骤?

提前致谢!

最佳答案

不太确定这个错误,但如果您使用的是较小的数据集,那么您可能希望使用 Docker 实现,因为它不会增加任何额外成本,您可以继续进行开发。

你可以引用这篇博客来了解如何设置它

https://towardsdatascience.com/develop-glue-jobs-locally-using-docker-containers-bffc9d95bd1

关于amazon-web-services - AWS Glue 开发终端节点无法正常工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62935149/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com