java - BigQuery - 解密 'quota exceeded' 消息

Question

我遇到了这条消息，但我不清楚我超出了众多配额中的哪一个。我的流程有:

• 80 个线程(分布在 8 台机器上)
• < 50 条记录/插入
• ~5K/条
• 1 秒延迟/插入
• 插入到约 100 个不同的表中(取决于具体记录 - 同一表的记录被分组在一起)

对我来说这是:

• <最大行大小 (1Mb)
• < 最大行数/秒(100K/表和 1M/项目)
• <每个请求的最大行数(~500)
• <最大字节数/秒 (100Mb)

我正在查看以下输出:bq --project <proj name> ls -j -a 。这给了我工作和成功/失败。从这里我使用 bq --project <proj name> show -j <jobId> 查看结果

错误输出包含以下几行:

"status": {  
 "errorResult": {  
   "location": "load_job",   
   "message": "Quota exceeded: Your project exceeded quota for imports per project. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
  "reason": "quotaExceeded"  
}, 
"errors": [
  {
    "location": "load_job", 
    "message": "Quota exceeded: Your project exceeded quota for imports per project. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
    "reason": "quotaExceeded"
  }
], 

关于还可以去哪里寻找的建议？我算错了吗？也许是组织线程/数据的更好方法？

Answer 1

看起来像Load Quotas相关

• 每日限制:每个表每天 1,000 个加载作业(包括失败)，每个项目每天 10,000 个加载作业(包括失败)

• 行和单元格大小限制:

  Data format     Max limit   
  CSV             2 MB (row and cell size)  
  JSON            2 MB (row size)  
  Avro            16 MB (block size)  
  

• 每个加载作业的最大大小:CSV 和 JSON 的所有输入文件为 12 TB

• 每个加载作业的最大文件数:10,000

很可能每日限额就是您正在寻找的