google-cloud-storage - Google云存储-从网络下载文件

Question

我想在下一个项目中使用Google云存储。
我的目的是跟踪各种网站并收集一些照片。作为，我阅读了gsutil的文档；我可以将文件手动下载到我的服务器，然后使用gsutil将其上传到Google云存储中。

下载和上传文件会在我的服务器中产生大量流量。
有没有办法让Google Cloud直接从http下载文件？

Answer 1

主要答案
使用Google Cloud Shell非常容易做到这一点。似乎适用于所有文件大小:

 curl http://speedtest.tele2.net/10GB.zip | gsutil cp - gs://YOUR_BUCKET_NAME/10GB.zip

基本上curl将数据直接流到存储桶。
备用(文件小于〜4.6 GB)
原始方法:只要您的下载量小于4.6 GB，此方法就起作用。启动Cloud Shell(在GCP中登录项目后，在右上角的第一个图标)，然后使用wget下载所需的文件。例如，要下载7-Zip类型:

wget https://www.7-zip.org/a/7z1805-x64.exe

现在，将文件放在您的Cloud Shell用户主目录中，您可以使用gsutil命令将其复制到Google Cloud Storage存储桶中:

gsutil cp ./7z1805-x64.exe gs://your_bucket_name/

备用(大于4.6 GB)
如果文件大于4.6 GB，您仍然可以执行此操作，但是您需要使用gcsfuse将存储桶安装在Cloud Shell中:
在您的Cloud Shell用户主目录中创建目录

 mkdir ~/mybucket

现在，使用gcsfuse将存储桶安装在该目录中:

 gcsfuse bucket_name ~/mybucket

将当前目录更改为挂载点目录:

 cd mybucket

(如果您想获得一些乐趣，请运行“df -h”，以查看在该安装点中获得了多少空间)
现在使用wget将文件直接放入您的存储桶(使用网络上的10GB文件作为样本):

 wget https://speed.hetzner.de/10GB.bin