google-cloud-platform - 将 Google Dataproc 查询的输出重定向到文本文件

Question

我有一个要求，我需要在文本文件中输出 Google Dataproc。

例如，我有以下查询:

gcloud dataproc jobs submit hive --cluster=$CLUSTER --region=$REGION \
    --execute="select count(*) from db.table;"

我只需要平面文件中的记录数信息。

我正在使用类似下面的东西(重定向运算符)。但是，它为我提供了在控制台中打印的全部数据。

gcloud dataproc jobs submit hive --cluster=$CLUSTER --region=$REGION \
    --execute="select count(*) from db.table;" > text.csv

我想要的输出是:

724

哪里 724是我表中的记录总数。

解决方法:

gcloud dataproc 作业提交配置单元 --cluster=$CLUSTER --region=$REGION\
--execute="从 db.table 中选择 count(*);"&> 文本.csv

使用 "&"重定向前。它将整个输出重定向到 test.csv 文件。

Answer 1

Dataproc 作业 API 不支持此操作。您可能需要在重定向之前进行一些输出解析。我提交了一个功能请求，以在 Jobs API 输出中分离 stdout 和 stderr。感谢您的反馈。