google-cloud-platform - 从谷歌云存储桶下载时如何提高每秒慢请求率

Question

我正在使用 @google-cloud/storage 库从我的谷歌云存储桶中获取数据。但是，我无法从存储桶中获得超过每秒约 5 次下载。

const Storage = require('@google-cloud/storage');
const storage = Storage({ keyFilename: './gcloud-api-creds.json' });
const bucket = storage.bucket('my-bucket');

Promise.all(Array.from(Array(80)).map(
  (d,i) => bucket.file(`index.html`)
    .download()
    .then(() => console.log(`done ${i}`))
)).then(() => console.log("READY"));

完成 80 个下载请求大约需要 14 秒。我相信我正在达到一些每个用户的存储限制。

Google Cloud Storage 文档声称默认支持约 5000 个请求/秒

There is no limit to reads of an object. Buckets initially support roughly 5000 reads per second and then scale as needed. (https://cloud.google.com/storage/quotas)

我怎样才能达到这个速度？

Answer 1

在与谷歌云支持团队讨论后，我们发现实际使用的带宽限制了 App Engine Flex 容器上的每秒请求量。

根据 gsutil perf 测试，实例和云存储桶之间似乎只有 65mbit 下载带宽。