java - 为什么 BigQuery 导出作业会产生内部错误？

Question

我正在尝试使用以前有效的代码将数据从 BigQuery 导出到 GCS:

logger.log("Exporting BigQuery data for date:" + dayString + "<br/>");

JobConfigurationExtract extractConfig = new JobConfigurationExtract();
extractConfig.setDestinationFormat("NEWLINE_DELIMITED_JSON");
String applicationId = ServerUtils.getApplicationId();
String dataFile = "gs://"+applicationId+"_analytics/" + accountName + "-" + dayString + "-*.json";
extractConfig.setDestinationUri(dataFile);

String tableName = dayString.replaceAll("-","_");
TableReference bigQuerytableToExtractFrom = new TableReference().setProjectId(BigQueryUtils.PROJECT_NUMBER).setDatasetId(getDatasetName(accountName)).setTableId(tableName);

extractConfig.setSourceTable(bigQuerytableToExtractFrom);

JobConfiguration config = new JobConfiguration().setExtract(extractConfig);
Job job = new Job().setConfiguration(config);
Job queuedJob = BigqueryUtils.getClient().jobs().insert(BigQueryUtils.PROJECT_NUMBER, job).execute();


String jobIdString = queuedJob.getJobReference().getJobId();
jobIdString = jobIdString.substring(jobIdString.indexOf(':')+1);

return jobIdString;

但是，今天工作信息总是返回:

{"errorResult":{"message":"Unexpected. Please try again.","reason":"internalError"},"errors":[{"message":"Unexpected. Please try again.","reason":"internalError"}],"state":"DONE"}

BigQuery 今天有问题吗？如果是这样，是否有预计何时修复的预计到达时间？

根据 Pentium 10 的建议，这里有几个失败的作业 ID:job_nGY3gTVibV07Y38PWJRIQ79SxaE、job_lJJBUibG_W42Lrl8Bwux0_RD_yw、

Answer 1

啊...问题是您尝试导出的表已通过流式导入写入。这目前不起作用，因为我们的导出管道不知道如何读出流缓冲区。我已经提交了一个错误。

作为解决方法，如果您复制表格(通过 bq cp，通过 Web UI)，它应该会生成一个可导出的表格，尽管可能会丢失最后几分钟的数据。如果您想要表的绝对最新版本，可以使用 allowLargeResults 和目标表运行 select * 查询，然后将其导出。