python - 如何使用 Python 从 AWS Lambda 检索格式正确的 JSON

Question

我在 AWS Lambda 中有一个函数连接到 Twitter API 并返回与我通过事件提供的特定搜索查询匹配的推文。该函数的简化版本如下。我使用了一些辅助函数，例如 get_secret 来管理 API key ，以及 process_tweet 来限制发送回的数据以及将创建日期转换为字符串等操作。最终结果是我应该取回字典列表。

def lambda_handler(event, context):
    twitter_secret = get_secret("twitter")

    auth = tweepy.OAuthHandler(twitter_secret['api-key'],
                               twitter_secret['api-secret'])
    auth.set_access_token(twitter_secret['access-key'],
                          twitter_secret['access-secret'])
    api = tweepy.API(auth)

    cursor = tweepy.Cursor(api.search,
                           q=event['search'],
                           include_entities=True,
                           tweet_mode='extended',
                           lang='en')

    tweets = list(cursor.items())
    tweets = [process_tweet(t) for t in tweets if not t.retweeted]

    return json.dumps({"tweets": tweets})

然后，在我的桌面上，我有调用 lambda 函数的代码。

aws_lambda = boto3.client('lambda', region_name="us-east-1")
payload = {"search": "paint%20protection%20film filter:safe"}
lambda_response = aws_lambda.invoke(FunctionName="twitter-searcher",
                                    InvocationType="RequestResponse",
                                    Payload=json.dumps(payload))
results = lambda_response['Payload'].read()
tweets = results.decode('utf-8')

问题在于，在 json.dumps 在 lambda 中输出输出和在 Python 中读取有效负载之间的某个地方，数据变得很困惑。例如，应该是 \n 的换行符变成了 \\\\n，所有的双引号都存储为 \\"和 Unicode 字符都以 \\ 为前缀。因此，当 Python 在我的桌面上接收到转义字符时，转义的所有内容都被转义了。考虑返回列表的这个元素 (手动格式化)。

'{\\"userid\\": 190764134,
  \\"username\\": \\"CapitalGMC\\",
  \\"created\\": \\"2018-09-02 15:00:00\\",
  \\"tweetid\\": 1036267504673337344,
  \\"text\\": \\"Protect your vehicle\'s paint! Find out how on this week\'s blog.
              \\\\ud83d\\\\udc47\\\\n\\\\nhttps://url/XYMxPhVhdH https://url/mFL2Zv8nWW\\"}'

我可以使用正则表达式来解决一些问题(\\" 和 \\\\n)但是 Unicode 很棘手，因为即使我匹配它，如何我用正确转义的字符替换它？当我在 R 中执行此操作时，使用 aws.lambda 包，一切都很好，没有奇怪的转义。

AWS Lambda 的响应导致数据困惑，我在桌面上做错了什么？

更新

处理tweet函数如下。它实际上只是取出我想保留的位，将日期时间对象格式化为一个字符串并返回一个字典。

def process_tweet(tweet):
    bundle = {
        "userid": tweet.user.id,
        "username": tweet.user.screen_name,
        "created": str(tweet.created_at),
        "tweetid": tweet.id,
        "text": tweet.full_text
    }
    return bundle

仅供引用，在 R 中的代码如下所示。

payload = list(search="paint%20protection%20film filter:safe")
results = aws.lambda::invoke_function("twitter-searcher"
                                      ,payload = jsonlite::toJSON(payload
                                                              ,auto_unbox=TRUE)
                                      ,type = "RequestResponse"
                                      ,key = creds$key
                                      ,secret = creds$secret
                                      ,session_token = creds$session_token
                                      ,region = creds$region)
tweets = jsonlite::fromJSON(results)
str(tweets)

#> 'data.frame':    133 obs. of  5 variables:
#>  $ userid  : num  2231994854 407106716 33553091 7778772 782310 ...
#>  $ username: chr  "adaniel_080213" "Prestige_AdamL" "exclusivedetail" "tedhu" ...
#>  $ created : chr  "2018-09-12 14:07:09" "2018-09-12 11:31:56" "2018-09-12 10:46:55" "2018-09-12 07:27:49" ...
#>  $ tweetid : num  1039878080968323072 1039839019989983232 1039827690151444480 1039777586975526912 1039699310382931968 ...
#>  $ text    : chr  "I liked a @YouTube video https://url/97sRShN4pM Tesla Model 3 - Front End Package - Suntek Ultra Paint Protection Film" "Another #Corvette #ZO6 full body clearbra wrap completed using @xpeltech ultimate plus PPF ... Paint protection"| __truncated__ "We recently protected this Tesla Model 3 with Paint Protection Film and Ceramic Coating.#teslamodel3 #charlotte"| __truncated__ "Tesla Model 3 - Front End Package - Suntek Ultra Paint Protection Film https://url/AD1cl5dNX3" ...

tweets[131,]
#>        userid   username             created             tweetid
#> 131 190764134 CapitalGMC 2018-09-02 15:00:00 1036267504673337344
#>          text
#> 131 Protect your vehicle's paint! Find out how on this week's blog.👇\n\nhttps://url/XYMxPhVhdH https://url/mFL2Zv8nWW

Answer 1

在您的 lambda 函数中，您应该在响应正文中返回一个带有 JSON 对象的响应对象。

# Lambda Function
def get_json(event, context):
    """Retrieve JSON from server."""
    # Business Logic Goes Here.
    response = {
        "statusCode": 200,
        "headers": {},
        "body": json.dumps({
            "message": "This is the message in a JSON object."
        })
    }
    return response