google-bigquery - Avro 日期和时间与 BigQuery 的兼容性？

Question

BigQuery 通常在加载 Avro 数据方面做得很好，但是“bq load”在时间戳和其他使用 Avro logicalType 属性的日期/时间字段方面遇到了很多麻烦。

当 BigQuery TIMESTAMP 将它们解释为微秒时间戳(关闭 1000)时，我的 Avro 类型时间戳毫秒数据被破坏。

可以加载到 TIMESTAMP 的时间戳微整数在 BigQuery DATETIME 中变为无效。我找不到对 https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types

有效的解释
ISO8601 格式的

字符串无法加载到 TIMESTAMP 或 DATETIME(类型不兼容错误)，但我认为如果我加载纯 JSON，BigQuery 会支持它。

Avro“日期”类型无法加载到 DATE(也是不兼容的类型)。

我想我可以通过始终将数据加载到临时字段并使用查询进行 CAST 或将它们转换为其他字段来解决这些问题，但这不能很好地扩展或支持模式演变或流。使用定义明确的模式在 Avro 中生成数据应该避免为不同的消费者再次转换数据的额外步骤。

BigQuery 真的与 Avro 日期和时间不兼容吗？ (或者我在做什么蠢事)

还是“bq load”是这里的问题？有没有更好的方法来加载 Avro 数据？

Answer 1

现在，所有 BigQuery 用户都可以公开使用对 Avro 逻辑类型的原生理解。有关更多详细信息，请参阅此处的文档页面:https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro#logical_types