google-bigquery - 如何使用 dataflowsdk 将数据从 bigquery 转录到 bigquery？

Question

构建管道时，源是 BigQueryIO.Read，您会得到一组 TableRow 对象以供使用。

我基本上想对那些 TableRow 对象进行一些小的更改，然后使用 BigQueryIO.Write 将对象输出到新表。

但是，我遇到了 TableRow 实际上与原始表结构不匹配的问题，即。它的键中带有“_”而不是“。”，而且完全是扁平的。 (因此与原始架构不匹配)。

我是否遗漏了一个可以使 TableRow 正常运行的步骤？
这似乎是一个相当简单的工作流程，所以当我遇到这个问题时我有点惊讶。

目标:BigQueryIO.Read -> TableRow -> BigQueryIO.Write

Answer 1

您可以通过指定 .withoutResultFlattening() 来避免 TableRow 的扁平化

顺便说一句，下划线作为分隔符的扁平化和选择都是由 BigQuery 完成的，并由查询选项控制。