gpt4 book ai didi

Azure 追加 Blob 读取性能缓慢

转载 作者:行者123 更新时间:2023-12-04 17:32:35 25 4
gpt4 key购买 nike

我发现,当 Blob 附加数千次或更多次时,从 Azure Append Blob 读取数据的速度非常慢。写入/追加速度很快,但读取具有数千个追加的典型日志 blob,每个追加大小为几 KB,总大小为几 MB,需要一分钟多的时间!读取标准博客或类似大小的页面 blob 需要几毫秒。有没有某种方法可以加快从追加 blob 中的读取速度,即通过展平内部结构?

到目前为止,看起来最好定期“存档”/将附加 blob 转换为 block blob,然后处理它们。有什么建议吗?

如果没有,推荐的日志替代存储是什么?可以使用 Azure 表,但即使使用批量操作,也需要更多的读取。

最佳答案

这是因为许多小追加会导致 blob 变得严重碎片化,以快速写入换取缓慢读取。

目前,您最好的选择是,就像您所写的那样,定期将追加 blob 复制到 block blob 中并从中读取。

但是,Azure 存储团队计划(自 2018 年 6 月起)添加 de-fragmentation feature 。有了这个,我们最终也许也能够快速读取小附加内容。

关于Azure 追加 Blob 读取性能缓慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39170499/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com