google-bigquery - BigQuery 命令行工具 - 使用查询附加到表

Question

是否可以使用 bq 命令行工具将运行查询的结果附加到表中？我看不到可用的标志来指定这个，当我运行它时它失败并指出“表已经存在”

bq query --allow_large_results --destination_table=project:DATASET.table "SELECT * FROM [project:DATASET.another_table]"

BigQuery error in query operation: Error processing job '': Already Exists: Table project:DATASET.table

Answer 1

原本 BigQuery 不支持标准的 SQL 惯用语

 INSERT foo SELECT a,b,c from bar where d>0;

你必须按照他们的方式做 --append_table
但根据@Will 的回答，它现在可以工作了。

原来用bq，有
bq query --append_table ...
bq 查询命令的帮助是

$ bq query --help

并且输出在输出的前 25% 中显示了一个 append_table 选项。

Python script for interacting with BigQuery.


USAGE: bq.py [--global_flags] <command> [--command_flags] [args]


query    Execute a query.

         Examples:
         bq query 'select count(*) from publicdata:samples.shakespeare'

         Usage:
         query <sql_query>

         Flags for query:

/home/paul/google-cloud-sdk/platform/bq/bq.py:
  --[no]allow_large_results: Enables larger destination table sizes.
  --[no]append_table: When a destination table is specified, whether or not to
    append.
    (default: 'false')
  --[no]batch: Whether to run the query in batch mode.
    (default: 'false')
  --destination_table: Name of destination table for query results.
    (default: '')
...

与其将两个表附加在一起，不如使用 UNION ALL这是 sql 的连接版本。

在大查询中，逗号或 ,两个表之间的操作，如 SELECT something from tableA, tableB是 UNION ALL ，不是 JOIN ，或者至少这是我最后一次看。