node.js - 使用 Node 流式传输大型大查询 SELECT？

Question

我正在开发一个 Node.js 程序。我们每天使用 Node 来处理存储在 Big Query 中的数据。

我们每天都有大量新数据 (280 Go)。

如何全天向 BigQuery 发出请求并逐行流式传输结果？

现在，我们没有流。我们只请求一次所有数据。

我可以使用 sql LIMIT 关键字。但问题是 BigQuery 在成本计算中忽略了 LIMIT。如果我们限制 0,10。它探索当天的所有数据 (280 Go)。同上 LIMIT 10,10 ...

这是我当前的代码。

    const BigQuery = require('@google-cloud/bigquery');

    // ... Some code ...

    this.bigQuery
        .query(Exporter.enrichQueryWithOptions(`SELECT e.name FROM  events))
        .then(results => {
            const rows = results[0];
            console.log(rows);
        })
        .catch(err => {
            console.error('ERROR:', err);
        });

Answer 1

我认为这可能是您需要的:

https://googleapis.dev/nodejs/bigquery/latest/BigQuery.html#createQueryStream

该函数允许您构建查询并通过数据流使用它。