python - 如何使 SQS 的速度超过 1000 条消息/秒？

Question

我有以下代码可以向 SQS 发送批处理消息。我的目标是在 while true 循环中发送 1000 msg/sec。

我遇到瓶颈 - 从 CSV 文件中选择随机 ID。如何改进算法以实现目标？

async def send_to_sqs(file_path, loop):
    ids = load_file_to_list(file_path)
    while True:
        messages = []
        for id in ids:
            message = {'Id': id}
            messages.append(message)

        for i in range(0, 10000, 10): #butch size is 10
            messages_batch = messages[i:i+10]

            entries = []
            for message in messages_batch:
                entries.append({'Id': str(message['Id']),
                'MessageBody': json.dumps(message)})
            await sqs.send_message_batch(QueueUrl=sqs_url, Entries=entries)


def load_file_to_list(file_path):
   with open(file_path, 'r') as f:
     reader = csv.reader(f)
     return list(reader)

Answer 1

为什么不使用 UUID？这比您预先创建的文件中的随机 ID 更有可能是唯一的

为了更直接地解决您的代码，而不是后退一步，我会考虑让文件在后台保持打开状态，而不是每次调用函数时都打开它。