gpt4 book ai didi

node.js - DynamoDB 中的最大记录数

转载 作者:太空宇宙 更新时间:2023-11-04 01:41:29 25 4
gpt4 key购买 nike

我正在编写一个脚本,将 CSV 保存到 dynamoDB 表中。我正在使用 Node.js 和 aws-sdk 模块。一切似乎都是正确的,但我向 Dynamo 发送了超过 50k 条记录,而只有 1181 条记录被保存并显示在 Web 控制台上。

我尝试过不同数量的记录,这是我得到的最大计数,无论我尝试保存 100k、10k 还是 50k。根据AWS的文档,记录数量不应该有任何限制,你知道还有哪些其他因素可能影响这个硬限制吗?

顺便说一句,我的代码正在捕获插入操作中的错误,并且在插入超过 1181 标记时我没有捕获任何错误,因此该模块并没有真正提供帮助。

任何额外的想法将不胜感激。

最佳答案

如果您使用 DynamoDb batchWriteitem 或其他批量插入,则需要检查响应中的“UnprocessedItems”元素。有时,批量写入超出了表的预配置写入容量,并且它不会处理所有插入,听起来就像这里发生的情况。

您应该检查插入的响应,如果有未处理的项目,请在代码中设置重试和指数退避计时策略。这将允许插入其他项目,直到处理完所有 CSV。

这是 Dynamo 的引用链接 BatchWriteItem如果您想仔细查看响应元素。祝你好运!

关于node.js - DynamoDB 中的最大记录数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52746253/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com