google-app-engine - 如何加快 App Engine 批量下载程序的速度？

Question

我正在尝试使用 App Engine bulkloader 从数据存储(如果重要的话是高复制数据存储)下载实体。它可以工作，但速度很慢 (85KB/s)。是否有一些神奇的参数集可以传递给它以使其更快？我收到大约 5MB/分钟或 20,000 条记录/分钟，鉴于我的连接速度可以达到 1MB/秒(希望 App Engine 可以比这更快地提供服务)，必须有一种方法可以更快地做到这一点。

这是我当前的命令。我已经尝试了高数、低数和每一种排列:

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo

我已经试过了 App Engine Bulk Loader Performance而且它并不比我已经拥有的快。他提到的数字也与我看到的数字相当。

提前致谢。

Answer 1

您是否为您尝试下载的实体的 key 设置了索引？
我不知道这是否有帮助，但请检查您是否在下载开始时收到有关“使用顺序下载”的警告

将其放在index.yaml 上以在上传的实体键上创建索引并等待建立索引。

- kind: YOUR_ENTITY_TYPE
  properties:
  - name: __key__
    direction: desc