gpt4 book ai didi

amazon-s3 - 用于存储和检索 Web 应用程序大文件的架构

转载 作者:行者123 更新时间:2023-12-02 22:28:08 25 4
gpt4 key购买 nike

我有几个用户正在处理大文件 (1GB)。这些文件只是包含数百万个点的大型原始向量。它代表长时间采集信号。

我有一个桌面软件来可视化这些数据。基本上,我加载文件,应用滤波器(带通)和所有数据并绘制矢量。

我想做的是在网络应用程序上按部分可视化数据。数据 block 可能不会那么大,因此我不必在浏览器中加载整个文件(我什至不知道是否可能)。文件存储在 S3 上。

那么我的问题是,如何有效地存储文件,以便能够快速地按部分检索它们。例如,一个文件中有 1 亿个样本,但我只想绘制样本 [125000, 150000]。例如,我如何管理此问题而无需将整个文件从 S3 获取到 EC2?我想过存储 10000 个数据样本 block ,这样我最多只能获取 3 个文件,但这是一个好方法吗?

最佳答案

Amazon S3 支持读取文件的部分内容。如果您可以计算所需数据点的偏移量及其长度,则您只能读取该部分。

此链接展示了如何使用 HTTP GET 执行此操作:

Get Object

此页面展示了如何使用适用于各种语言的 AWS 开发工具包来执行此操作:

Getting Objects

关于amazon-s3 - 用于存储和检索 Web 应用程序大文件的架构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48333540/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com