google-bigquery - Bigquery dbt_external_tables 外部数据配置

Question

我在使用 dbt_external_tables 包时需要一些帮助。

我意识到在我在 GCS 中的 csv 中，有些行似乎有换行符，这在尝试查询由宏创建的表时会导致一些问题。

有时，当手动执行外部表的此配置时，BigQuery UI 有两个选项:允许锯齿状行 (CSV)允许引用换行符 (CSV) true我通常将这些选项设置为 true，有时问题会得到解决。我不知道如何使用 dbt_external_tables 执行此操作。

这很重要，因为我在尝试查询由 dbt 创建的表时收到此错误“读取表时出错:kpi-process.file_csv.History，错误消息:CSV 表引用列位置 9，但行从位置开始:10956 仅包含 7 列。"

Answer 1

dbt-external-tables 包支持传递 a dictionary of options对于 BigQuery 外部表，它映射到 options documented here .在你的情况下，听起来你想打开 allow_jagged_rows 和 allow_quoted_newlines，所以你可以像这样指定它们:

version: 2
sources:
 - name: my_external_source
   tables:
     - name: my_external_table
       location: 'gs://bucket/path/*'
       options:
         format: csv
         allow_jagged_rows: true
         allow_quoted_newlines: true

dbt 将相应地模板化 DDL 语句:

create or replace external statement my_external_source.my_external_table
options (
  format = 'csv',
  allow_jagged_rows = true,
  allow_quoted_newlines = true,
  uris = ['gs://bucket/path/*']
)