google-cloud-platform - Google BigQuery 对 Avro 逻辑类型的支持

Question

正如 Google 声称的那样，不支持从 Avro 逻辑类型 到 BigQuery 特定类型的转换(如所述 here on the bottom )。

但是我可以使用以下架构加载 Avro 文件:

schema = {
    'name': 'test',
    'namespace': 'testing',
    'type': 'record',
    'fields': [
        {'name': 'test_timestamp', 'type': 'long', 'logicalType': 'timestamp-millis'},
    ],
}

转到具有 TIMESTAMP 类型列的 BigQuery。

以下模式的情况有所不同:

schema = {
    'name': 'test',
    'namespace': 'testing',
    'type': 'record',
    'fields': [
        {'name': 'testdate', 'type': 'int', 'logicalType': 'date'},
    ],
} 

以及包含 DATE 类型列的 BigQuery 表。我按以下方式使用 bq load(在两种情况下):

bq --location=EU load --source_format=AVRO --project_id=test-project dataset.table "gs://bucket/test_file.avro"

它失败了，但有异常:

Field testdate has changed type from DATE to INTEGER

BigQuery 是否有可能支持逻辑类型，或者是否有任何优雅的方法来解决这种情况？ (我知道使用临时表的解决方法，然后有 BQL 选择将 TIMESTAMPS 转换为 DATES，但它并不是很漂亮:P)

Answer 1

所有 BigQuery 用户现在都可以公开了解 Avro 逻辑类型的 native 理解。请参阅此处的文档页面了解更多详细信息:https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro#logical_types