google-bigquery - 将数据加载到 Google Big Query

Question

我的问题如下:

假设我有一个要加载到大查询中的 json 文件。
它包含这两行数据。

{"value":"123"}
{"value": 123 }

我已经为我的数据定义了以下架构。

[
  { "name":"value", "type":"String"}
]

当我尝试将 json 文件加载到大查询中时，它将失败并显示以下错误:
字段:值:无法将值转换为字符串

除了转换 json 文件中的数据之外，有没有办法解决这个问题？

谢谢!

Answer 1

您可以在加载作业上设置 maxBadRecords 属性以跳过一些错误但仍加载数据。

按照您的示例，如果将其设置为:

"configuration": {
    "load": {
      "maxBadRecords": 1,
     }
}

这是一种在仍将 JSON 数据加载到表中的同时解决问题的方法，只是会跳过错误的行。如果加载文件列表，您可以将其设置为正在加载的文件数量的函数(例如 maxBadRecords = 20 * fileCount)