java - Google Cloud Dataflow BigQueryIO.Write 发生未知错误(http 代码 500)

Question

是否有人与我遇到同样的问题，即 Google Cloud Dataflow BigQueryIO.Write 发生未知错误(http 代码 500)？

我使用Dataflow处理四月、五月、六月的一些数据，我使用相同的代码处理四月数据(400MB)并成功写入BigQuery，但是当我处理五月(60MB)或六月(90MB)数据时，它失败了。

• 4 月、5 月和 6 月的数据格式相同。
• 将 writer 从 BigQuery 更改为 TextIO，作业会成功，所以我认为数据格式很好。
• 日志仪表板没有任何错误日志......
• 系统仅出现相同的未知错误

我写的代码在这里:http://pastie.org/10907947

“执行 BigQuery 导入作业”后出现错误消息:

Workflow failed. Causes: 
(cc846): S01:Read Files/Read+Window.Into()+AnonymousParDo+BigQueryIO.Write/DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., 
(e19a27451b49ae8d): BigQuery import job "dataflow_job_631261" failed., (e19a745a666): BigQuery creation of import job for table "hi_event_m6" in dataset "TESTSET" in project "lib-ro-123" failed., 
(e19a2749ae3f): BigQuery execution failed., 
(e19a2745a618): Error: Message: An internal error occurred and the request could not be completed. HTTP Code: 500

Answer 1

抱歉让您失望了。看起来您已达到写入 BQ 的文件数量限制。这是一个已知问题，我们正在修复。

同时，您可以通过减少输入文件的数量或重新分片数据来解决此问题(执行 GroupByKey，然后取消数据分组 - 从语义上讲，这是一个无操作，但它强制数据物化，以便写入操作的并行性不受读取并行性的限制)。