amazon-web-services - 如何在 AWS glue 中使用从一个胶水脚本到另一个胶水脚本的函数

Question

我有一个 AWS glue pyspark 脚本，例如 scriptA.py。在这个脚本中，我定义了一些通用函数，比如 readSourceData()

def readSourceData(parameter1, parameter2):

//函数逻辑

现在我想在我的 secong glue pyspark 脚本 scriptB.py 中使用这个通用函数。

我有很多这样的通用函数。如何导入这些函数并在其他脚本中使用它们？

Answer 1

您可以使用您的通用函数创建模块，并将这些外部 python 模块附加到您的粘合作业中。关于此的更多信息，您可以阅读 here .

广泛的回答:

1. 您将通用函数捆绑在 python module 中.
2. 然后将模块压缩并上传到 S3。
3. 您将模块在 S3 中的路径添加到 Python 库路径字段中的 Glue 作业

确保您的工作角色有权访问 S3 中的位置。