google-bigquery - BIGQUERY - bq 加载无法解析

Question

最近我开始在我的公司使用 BigQuery。我们使用 AWS Redshift 数据库，所以我使用 卸载到 S3管道 如 字段分隔符 ，在我用 gsutil 发送到 GCS 之后。

所以我开始加载到 BQ，但在某些表中这不起作用。查看日志:

bq load 
--project_id=movile-di
--field_delimiter="|" 
--schema=mte.json
--allow_quoted_newlines=true 
--allow_jagged_rows=true 
--ignore_unknown_values=true 
--max_bad_records=100 
corp.mte_201301 

gs://movile-di/telecom/atlas/dynamic/2013/01/mte/* Waiting on
> bqjob_r333c660745fe8874_00000156c36e9a5e_1 ... (0s) Current status:
> DONE    

BigQuery error in load operation: Error processing job
> 'movile-di:bqjob_r333c660745fe8874_00000156c36e9a5e_1': Too many
> errors encountered. Failure details:
> - gs://movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz: Could 
not parse '2500","key":"MOV_PK_MOVILE_ATLASSENDMESSAGE"}' as int
> for field billing_share_content_partner_share (position 17) starting
> at location 1596

> - gs://movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz: Could 
not parse '100001","key":"MOV_PK_MOVILE_ATLASSENDMESSAGE"}' as
> int for field billing_share_content_partner_share (position 17)
> starting at location 2060

> - gs://movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz: Could 
not parse '-","key":"MOV_PK_MOVILE_ATLASSENDMESSAGE"}' as int
> for field billing_share_content_partner_share (position 17) starting
> at location 2929

> - gs://movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz: Could 
not parse '-","key":"MOV_PK_MOVILE_ATLASSENDMESSAGE"}' as int
> for field billing_share_content_partner_share (position 17) starting
> at location 4413

> - gs://movile-di/telecom/atlas/dynamic/2013/01/mte/mte.csv.0000.gz: Could 
not parse '-","key":"MOV_PK_MOVILE_ATLASSENDMESSAGE"}' as int
> for field billing_share_content_partner_share (position 17) starting
> at location 5289

在这个表中，我有一个 JSON 字段。我猜是 烧烤负载不理解 field_delimiter 并给了我一个错误。

有人可以帮我吗？我尝试了我所知道的一切，但仍然无法正常工作。

Answer 1

尝试加载您的文件，就像它是只有一个字段的 CSV
为此，您应该选择字段分隔符，这样它肯定不会出现在文件中的其他任何地方
加载完成后，您可以使用 BigQuery(旧版或标准 SQL 模式)按照您在 BigQuery 中所需的方式对其进行解析。当然，这取决于您的实际模式——但在许多情况下它有帮助!
看看JSON functions和 UDF for Legacy SQL和 Scalar UDF for Standard SQL因为这些是在这种情况下解析的最有用的“工具”