google-bigquery - bq shell 加载 ^ 分隔的文件

Question

我们无法找到使用 bq shell 将 ^ 分隔文件推送到大查询的方法。用户界面上有一个选项可以提及除“,”之外的分隔符。

任何帮助将不胜感激。

谢谢，曼尼什

Answer 1

这就是我将维基百科综合浏览日志上传到 BigQuery 的方法(它们以空格分隔，且字符串不使用引号):

bq load -F" "
        --quote "" \
        fh-bigquery:wikipedia.pagecounts_20140411_08 \
        pagecounts-20140411-080000.gz
        language,title,requests:integer,content_size:integer

-F"​​" 表示以空格分隔的文件(根据您的用例使用 '^' 代替)，--quote "" 通知 BigQuery 有关非引用的使用。然后我表示目标表的名称、源文件以及该文件的 5 列。

(维基百科页面浏览量转储可在此处 http://dumps.wikimedia.org/other/pagecounts-raw/ )