aws-glue - 使用来自外部 REST API 的数据的 AWS Glue 作业

Question

我正在尝试创建一个工作流，其中 AWS Glue ETL 作业将从外部 REST API 而不是 S3 或任何其他 AWS 内部源提取 JSON 数据。
这甚至可能吗？有人做吗？
请帮忙!

Answer 1

是的，我确实从 Twitter、FullStory、Elasticsearch 等 REST API 中提取数据。通常，我确实使用 Python Shell 作业进行提取，因为它们更快(冷启动相对较小)。完成后，它会触发一个 Spark 类型的作业，该作业仅读取我需要的 json 项。
我使用请求 pyhton 库。

为了将数据保存到 S3 中，您可以执行以下操作

import boto3
import json

# Initializes S3 client
s3 = boto3.resource('s3')

tweets = []
//Code that extracts tweets from API
tweets_json = json.dumps(tweets)
obj = s3.Object("my-tweets", "tweets.json")
obj.put(Body=data)