google-bigquery - 使用主题模式的 PubSub 和 BigQuery 订阅

Question

随着 2022 年 7 月宣布的直接 PubSub 到 BigQuery，我们现在可以创建 BigQuery 订阅，直接从 PubSub 获取数据。

谈到时间戳字段，它们如何映射到 BigQuery？我尝试过的事情:

• 在 PubSub 中启用“使用模式”并使用 created_at: TIMESTAMP 创建一个 BQ 表

• 文档似乎没有指定 timestamp mapping for Protobuf , 所以忽略这个。

• 使用 Avro 逻辑字段时，我在创建订阅时遇到的错误类似于 Incompatible schema type for field created_at: expected INT64, got TIMESTAMP.

已尝试的 PubSub 主题架构示例:

{
  "type": "record",
  "name": "Avro",
  "fields": [
    {
      "name": "created_at",
      "type": {
        "type": "<long|int>",
        "logicalType": "timestamp-<millis|micros>"
      }
    }
  ]
}

为时间戳字段创建 PubSub 架构的正确方法是什么？

Answer 1

目前，BigQuery 订阅不支持逻辑类型。正在更新文档以反射(reflect)这一事实，并在我们说话时添加支持。预计它会在 2022 年第三季度末准备就绪。目前，TIMESTAMP逻辑类型将映射到基础类型，即 INT64在这种情况下。