mysql - 导入 BigQuery 时 - 遇到 JSON 表

Question

我正在使用 Spark 和 AppFlyer 人员创建的简单包装器库 (https://github.com/appsflyer-dev/spark-bigquery) 将一组表从 Mysql 同步到 BigQuery。这种方法对我所有的 table 都有魅力，除了一张。导入该表时，我从 BigQuery 收到以下错误:

Exception in thread "main" java.io.IOException: JSON table encountered too many errors, giving up. Rows: 1; errors: 1. at com.google.cloud.hadoop.io.bigquery.BigQueryUtils.waitForJobCompletion(BigQueryUtils.java:95) at com.appsflyer.spark.bigquery.BigQueryClient.com$appsflyer$spark$bigquery$BigQueryClient$$waitForJob(BigQueryClient.scala:129) at com.appsflyer.spark.bigquery.BigQueryClient.load(BigQueryClient.scala:100)

Mysql 端的表架构如下所示:

CREATE TABLE mytable (
  id bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  field1_id int(11) NOT NULL,
  created_at datetime(6) DEFAULT NULL,
  updated_at datetime(6) DEFAULT NULL,
  field2_id int(11) NOT NULL,
  hidden_at datetime(6) DEFAULT NULL,
  deleted_at datetime(6) DEFAULT NULL,
  field3 tinyint(4) NOT NULL,
  field4 tinyint(1) DEFAULT '1',
  PRIMARY KEY (id),
) ENGINE=InnoDB AUTO_INCREMENT=10193389 DEFAULT CHARSET=utf8mb4;

我不知道这个表导致了什么问题。

Answer 1

问题已解决 - 正在发送的 JSON 表描述与表示发送的数据的 JSON 之间不匹配。此 PR 已修复此问题:

https://github.com/appsflyer-dev/spark-bigquery/pull/8

该代码正在创建一个包含文本类型列的表，但 Spark JSONizer 将数据编码为数字。 BigQuery 的表导入因发布的错误而失败。如果有更好的错误就更好了。