gpt4 book ai didi

amazon-web-services - 一行编辑 AWS S3 中的文件

转载 作者:行者123 更新时间:2023-12-04 15:40:45 24 4
gpt4 key购买 nike

我有许多非常大的文件(> 6 GB)存储在 AWS S3 存储桶中,需要对它们进行非常小的编辑。

我可以通过将这些文件拉到服务器来编辑这些文件,使用 sedperl 来编辑关键字,然后将它们推回去,但现在是时候了-非常耗时,尤其是对一个 6 或 7 GB 的文本文件进行一个单词的编辑。

我使用一个程序使 AWS S3 像一个随机访问文件系统,https://github.com/s3fs-fuse/s3fs-fuse , 但这太慢了,所以不是一个选择。

如何通过脚本编辑这些文件或使用 sed,而无需执行从 S3 拉出和推回 S3 的昂贵且缓慢的步骤?

最佳答案

你不能。

您使用的库肯定是正确的:下载现有文件,在本地进行编辑,然后返回结果。它总是

使用 sed,假设您现有的库分三个独立的步骤完成,它可能会变得更快。但是你不能在读完之前立即发送结果并覆盖文件(至少我建议不要这样做。)

如果这是一次性过程,那么缓慢应该不是问题。如果这是您可能一直执行的操作,那么我建议您使用不同类型的存储。这一个可能不适合您的应用。

关于amazon-web-services - 一行编辑 AWS S3 中的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57910457/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com