gpt4 book ai didi

amazon-web-services - 从Internet下载文件到S3存储桶

转载 作者:行者123 更新时间:2023-12-03 10:59:01 28 4
gpt4 key购买 nike

我想直接从Internet上获取文件并将其粘贴到S3存储桶中,然后将其复制到PIG群集中。由于文件的大小以及我的网络连接不够好,可能无法选择先将文件下载到我的PC上,然后再将其上传到Amazon。

我有什么办法可以获取互联网文件并将其直接粘贴到S3中?

最佳答案

[2017编辑]
我在2013年给出了原始答案。今天,我建议使用AWS Lambda下载文件并将其放在S3上。这是理想的效果-在不涉及服务器的情况下将对象放置在S3上。

[原始回答]
无法直接执行。

为什么不使用EC2实例而不是本地PC呢?从EC2到同一区域的S3的上传速度非常好。

关于从/到s3的流读取/写入,我使用python的smart_open

关于amazon-web-services - 从Internet下载文件到S3存储桶,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19241671/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com