python - boto3 put_item 成功但没有出现记录

Question

我一直无法在任何地方找到答案，希望 SO 最终能提供帮助。
我有一个 lambda 函数来处理记录，然后将其写入 dynamodb 表。从所有意图和目的来看， put_item 调用似乎成功了，但是，当我检查 dynamo 表时，记录没有出现在其中。

import json
import boto3
import uuid
import urllib3
from botocore.exceptions import ClientError

def lambda_handler(event, context):
  
  apiResponse = {}
  for record in event['Records']:
    decoded = json.loads(record['body'])
    listId = int(decoded['queryParams']['rec_id'])
    apiCall = "INTERNAL API"
    http = urllib3.PoolManager()
    request = http.request('GET', apiCall)
    apiResponse = json.loads(request.data.decode('utf-8'))

    try:
      client = boto3.resource('dynamodb')
      table = client.Table('HistoryAuditTable')
      saveStatus = table.put_item(Item={
        'UUID': uuid.uuid4().hex,
        'RecId': listId,
        'MessageType': decoded['queryParams']['type'],
        'MessageTimestampUTC': record['attributes']['SentTimestamp'],
        'Message': apiResponse
      })
      print("STATUS")
      print(saveStatus) # This prints out a 200 status code in CloudWatch
    except ClientError as e:
      # This error never happens.
      print("ERROR")
      print(e.response["Error"]['Message'])
      
  # Response Status
  response = {}
  response["body"] = json.dumps(decoded)

  return response

我的 apiResponse是一个简单的 json 负载，包含一些我们在记录更改时跟踪的审计数据。
我的发电机表有以下字段:

UUID: self-explanatory, 
RecId: an internal record identifier (we keep this separate from the PK because the same record might be updated again and again),
MessageType: String representing if the record was a "SEED_VALUE", "CREATE", "UPDATE", "ARCHIVE", or "SOFT_DELETE"
MessageTimestampUTC: self-explanatory
Message: JSON blob containing the record details

我必须用我们数据的当前状态(大约 40 万条记录)的初始加载来为这个表播种，播种过程使用了相同的 aws lambda 函数。我的第一个迹象是，尽管所有 400k 行都返回了 200 响应代码，但实际上只有大约 100k 条 400k 记录进入了表，在我注意到这一点之后，我决定尝试触发将推送单个记录的进程在表格中，我可以看到我的函数正在正确触发，我可以看到我的 api 调用正在正确返回，我可以看到 saveStatus似乎是成功的，但是我没有在发电机表中看到我的记录。我想我在这里有几个问题:

dynamodb 表有写限制吗？我最初是否可能将太多数据推送到其中，而在我的限制重置之前我根本无法推送任何新内容？ (我在网上的任何地方都找不到直接的答案)

我做错了什么吗？我的过程几乎完全是从 AWS 文档中复制的，但 AWS 的文档是出了名的糟糕。

是否可以通过 cloudwatch 为 dynamodb 启用某种错误/写入日志记录？ (我在任何地方都找不到任何相关信息)

我检查过的其他几件事:

UUID 没有冲突(我不太可能知道，但我已经变得绝望了)

单个记录在 400kb DynamoDB 限制下很好(我见过的最大记录是 5kb)

老实说，我不知所措，我不明白该过程如何/为什么可以处理 10 万条记录，然后突然决定不再工作。

Answer 1

一般的一些建议、指示和观察，如果您回答评论中的问题，这可能会变得更具体。
看看read and write capacity modes以及 partitioning在 DynamoDB 中。本质上，每个分区有 1000 次写入的上限，每个 1KB。根据您的键设置，您可能会点击它。您可以在表格的指标中了解是否属于这种情况。另外:你会得到写入失败的异常(exception)，这让我进入下一点。
在您的代码中，您基本上将 DynamoDB 写入视为可有可无。如果成功，那就太好了，否则，您只需记录错误并继续。这不是调试的理想设置，在这种情况下，您可以考虑将写入 DynamoDB 的内容卸载到单独的 Lambda 中，例如将它们存储在 SQS 中并批量处理它们。如果写入对您的客户端很重要，请不要“消除”错误，引发适当的异常并向客户端发出出现问题的信号。在 100 万次成功的日志中寻找奇怪的错误并不有趣 ;-)
好消息是，您并没有完全做错，但是您可以优化一些东西。实例化 boto3 资源和客户端是一个相对昂贵的操作，如果你关心性能，你可以缓存它们。考虑使用 batching减少网络请求的数量。
您可以在表的 Metrics-Tab 中监控潜在限制的数量以及读/写错误。这些指标称为:

Throttled [write|read] requests

Throttled [write|read] events

System errors [write|read]