google-bigquery - 当您在数据流中使用 `BigQueryIO` 与 `fromTable` SELECT * .. `fromQuery("时，.")` 有区别吗？

Question

当您需要在数据流作业中从 bigquery 中的一个或多个表中读取所有数据时，我会说有两种方法。第一种方法是将 BigQueryIO 与 from 一起使用，它读取有问题的表，第二种方法是使用 fromQuery，您可以在其中指定从同一个表中读取所有数据的查询。所以我的问题是:

• 使用一个比另一个有任何成本或性能优势吗？

我没有在文档中找到任何关于此的内容，但我真的很想知道。我想 read 可能更快，因为您不需要运行扫描数据的查询，这意味着它更类似于 BigQuery UI 中的预览功能.如果这是真的，它也可能会便宜得多，但如果它们的价格相同，那也是有道理的。

简而言之，有什么区别:

BigQueryIO.read(...).from(tableName)

和

BigQueryIO.read(...).fromQuery("SELECT * FROM " + tableName)

Answer 1

from 比 fromQuery(SELECT * FROM ...) 更便宜也更快。

• from直接导出表，导出数据为free用于 BigQuery。
• fromQuery(SELECT * FROM ...) 将首先扫描整个表($5/TB)并导出结果。