python - AWS Glue 作业中的互联网访问

Question

Glue 作业是否可以访问互联网？

使用这个测试作业:

def have_internet():
    conn = httplib.HTTPConnection("www.google.com", timeout=5)
    try:
        conn.request("HEAD", "/")
        conn.close()
        logger.warn('ok')
    except:
        conn.close()
        logger.warn('no ok')

have_internet()

看来他们没有...

此外，在正确配置的 Glue 开发端点内，没有互联网访问权限。

正确配置是指在公共(public)子网(互联网网关)内，具有 S3 端点和互联网网关、工作“连接”和安全组。

但仍然无法上网...

我希望互联网访问能够查询本地数据库，保存到 S3，然后运行另一个作业进行转换，然后加载到 rds...

提取物可以用胶水吗？

Answer 1

这个问题现在已经自行解决，我怀疑是由于 Glue 或相关基础设施的更新。

连接问题发生在 PySpark REPL 内部，而不是实际的 Dev Endpoint 实例本身......

无论如何，对于使用 Glue 解决类似网络连接问题的任何其他人，这里列出了可能的原因:

开发端点需要位于“公共(public)”子网中*DHCP 选项需要有默认设置安全组，安全组，安全组子网应与 S3 端点相关联...