java - Dataprep - 当输出为 BigQuery 时数据流失败

Question

作为 POC 的一部分，我尝试通过 Dataprep 设置一些数据质量检查。有一个 BigQuery 表作为源，它应该运行一个作业并将输出输出到另一个 BigQuery。不幸的是，该作业因错误而失败:

java.lang.RuntimeException: Failed to create job with prefix beam_load_[thenameofthejob], reached max retries: 3, last failed job: null.
   at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob(BigQueryHelpers.java:196)
   at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJobManager.waitForDone(BigQueryHelpers.java:149)
   at org.apache.beam.sdk.io.gcp.bigquery.WriteTables$WriteTablesDoFn.finishBundle(WriteTables.java:255) .

请问您有解决此问题的任何提示吗？

我已经编辑了食谱，并且没有在那里设置任何转换，只是为了查看作业是否运行 - 它再次失败。当我将此 dataprep 数据流输出到 csv 时它起作用。全部在欧盟地区运行。

Answer 1

尝试转到bigquery页面，然后转到任务历史记录。接下来的步骤是转到任务历史记录中的项目历史记录选项卡。在那里，您会在失败的尝试处看到红色感叹号。如果您单击该案例，您将看到该案例的具体错误消息。

就我而言，是位置不同，但你的位置很好，所以这是我所能提供的帮助。希望它能帮助你。