java - 加载作业尝试使用 java 将 json 插入 BigQuery 表时解析错误

Question

我正在尝试这个，

    Job job = new Job();
    JobConfiguration config = new JobConfiguration();
    JobConfigurationLoad loadConfig = new JobConfigurationLoad();
    config.setLoad(loadConfig);
    job.setConfiguration(config);

    // Set where you are importing from (i.e. the Google Cloud Storage paths).
    List<String> sources = new ArrayList<String>();
    sources.add(GCS_URL);
    loadConfig.setSourceUris(sources);

    boolean tableExists =checkTableExists(bigquery,projectId,datasetId,tableName);
    System.out.println("Whether table exists "+tableExists);

    TableReference tableRef = new TableReference();
    tableRef.setProjectId(projectId);
    tableRef.setDatasetId(datasetId);
    tableRef.setTableId(tableName);

    if(!tableExists)
    {
        System.out.println("Create table");
    Table table = new Table();
    table.setSchema(getSchemaForBqTable(tableName));   
    table.setTableReference(tableRef);
    bigquery.tables().insert(projectId,datasetId,table).execute();
    }


    loadConfig.setDestinationTable(tableRef);
    loadConfig.setSchema(getSchemaForBqTable(tableName));


    Insert insertJob =bigquery.jobs().insert(projectId, job);    
    insertJob.setProjectId(projectId);
    JobReference jobId  = insertJob.execute().getJobReference();


and also polling the status and error results ..
while (true) {
      pollJob = bigquery.jobs().get(projectId, jobId.getJobId()).execute();
      elapsedTime = System.currentTimeMillis() - startTime;
      System.out.format("Job status (%dms) %s: %s\n", elapsedTime,
          jobId.getJobId(), pollJob.getStatus().getState());

      if (pollJob.getStatus().getErrorResult() != null) {
          // The job ended with an error.
           System.out.format("Job %s ended with error %s", jobId.getJobId(),pollJob.getStatus().getErrorResult().getMessage(), projectId);
           throw new RuntimeException(String.format("Job %s ended with error %s", jobId.getJobId(), 
                   pollJob.getStatus().getErrorResult().getMessage()));       
       }     

      if (pollJob.getStatus().getState().equals("DONE")) {
        return pollJob;
      }

我收到以下错误

作业状态(601 毫秒)job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(1899ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(3235ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(5505ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(7621ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(8904ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(10188ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(11461ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(13615ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(14890ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(16160ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(17444ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(19602ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(20887ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(22168ms) job_vJWfyum4tsmECoiBrygQ6PZn73c:待处理作业状态(24359ms)job_vJWfyum4tsmECoiBrygQ6PZn73c:正在运行线程“main”中的异常作业状态(25643ms)job_vJWfyum4tsmECoiBrygQ6PZn73c:完成作业 job_vJWfyum4tsmECoiBrygQ6PZn73c 以错误结束 右双引号 (") 和字段分隔符之间的数据:字段开头为:java.lang.RuntimeException:作业 job_vJWfyum4tsmECoiBrygQ6PZn73c 以错误结束 右双引号 (") 和字段分隔符之间的数据:字段开头为: 在 com.disney.facebook.LoadJob.checkQueryResults(LoadJob.java:181) 在 com.disney.facebook.LoadJob.main(LoadJob.java:72)

--------------------------------------------------------------------------------------------------------------------------------------------------------

使用 bq 命令检查作业状态...在异常下方...

C:\Program Files (x86)\Google\Cloud SDK>bq show -j job_inR4kMvXQCcpcTujY7nEC-LZs贝奇作业 brilliobigquery-991:job_inR4kMvXQCcpcTujY7nEC-LZsBQ

作业类型状态开始时间持续时间已处理字节数账单编辑计费层

<小时/><小时/>

加载失败 11 月 4 日 12:18:32 0:00:01

作业执行期间遇到错误。右双引号 (") 和之间的数据 字段分隔符:字段开头为:失败详情: - 文件:0/行:1/字段:2:右双引号 (") 和之间的数据 字段分隔符:字段开头为: - 文件:0/行:1/字段:3:右双引号 (") 和之间的数据 字段分隔符:字段开头为: - 文件:0/行:1/字段:4:右双引号 (") 和之间的数据 字段分隔符:字段开头为: - 文件:0/行:1/字段:5:右双引号 (") 和之间的数据 字段分隔符:字段开头为:

要上传的文件将包含这样的内容。

{“channel_skey”:“124”，“the_date”:“1444953600”，“total_subscribers”:“782904”，“total_subscribing”:“21”，“rec_insert_ts”:“1444953600”，“rec_update_ts”:“1444953600 ”}{“channel_skey”:“125”，“the_date”:“1444953600”，“total_subscribers”:“50359”，“total_subscribing”:“0”，“rec_insert_ts”:“1444953600”，“rec_update_ts”:“1444953600”}

请帮我解决这个问题。

Answer 1

您需要将源格式设置为 NEWLINE_DELIMITED_JSON。此作业正在尝试将您的数据解析为 CSV。

API引用:

https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.load.sourceFormat

Java 客户端库引用:

https://developers.google.com/resources/api-libraries/documentation/bigquery/v2/java/latest/com/google/api/services/bigquery/model/JobConfigurationLoad.html#setSourceFormat(java.lang.String)