csv - BigQuery 从 bq 命令行工具加载数据 - 如何跳过标题行

Question

我有一个带有标题行的 CSV 数据文件，用于填充 BigQuery 表:

$ cat dummy.csv
Field1,Field2,Field3,Field4
10.5,20.5,30.5,40.5
10.6,20.6,30.6,40.6
10.7,20.7,30.7,40.7

使用 Web UI 时，有一个文本框，我可以在其中指定要跳过的标题行数。但是，如果我使用 bq 将数据上传到 BigQuery命令行工具，我没有选择这样做，并且总是收到以下错误:

$ bq load my-project:my-dataset.dummydata dummy.csv Field1:float,Field2:float,Field3:float,Field4:float
Upload complete.
Waiting on bqjob_r7eccfe35f_0000015e3e8c_1 ... (0s) Current status: DONE
BigQuery error in load operation: Error processing job 'my-project:bqjob_r7eccfe35f_0000015e3e8c_1': CSV table encountered too many errors, giving up. Rows: 1;
errors: 1.
Failure details:
- file-00000000: Could not parse 'Field1' as double for field Field1
(position 0) starting at location 0

bq command line tool quickstart documentation也没有提到跳过标题的任何选项。

一种简单/明显的解决方案是编辑 dummy.csv删除标题行，但如果指向 Google Cloud Storage 上的 CSV 文件而不是本地文件，这不是一个选项 dummy.csv .

这可以通过 Web 界面完成，也可以通过 Python API ，所以应该也可以使用 bq工具。

Answer 1

正在检查 bq help load透露了一个 --skip_leading_rows选项:

--skip_leading_rows : The number of rows at the beginning of the source file to skip.
    (an integer)

在 bq command line tool documentation 中也找到了这个选项(这是 而不是 与上面链接的快速入门文档相同)。

添加 --skip_leading_rows=1到 bq load命令就像一个魅力。

这是成功的命令:

$ bq load --skip_leading_rows=1 my-project:my-dataset.dummydata dummy.csv Field1:float,Field2:float,Field3:float,Field4:float
Upload complete.
Waiting on bqjob_r43eb07bad58_0000015ecea_1 ... (0s) Current status: DONE