node.js - 如何使用node.js和react.js下载大型CSV文件

Question

我想通过node.js从react下载一个Mongo集合(包含大量记录)作为CSV。

目前我所做的是，我首先将数据加载到 Node 中，然后处理它们后我解决 promise 。对于小型集合，这效果很好。但是当记录数越来越多时，很长一段时间后就会返回 502 错误。最好的方法是什么？

Answer 1

这是一个基本的代码 spinet，帮助我解决了上述问题。

    const collection = ... ;
    const query = ... ;
    const select = ... ;

    const cursor = mongodb.collection(collection).find(query, select)

    var csv = require('csv');

    transfer(doc) {
    return {
        Address: doc.address,
        State: doc.state.abbreviation
    };
    }

    function(req, resp) {
    const cursor = ...
    // The transfer function (above)
    const transfer = ...;

    const fileName = "Download.csv";

    resp.setHeader('Content-disposition', `attachment; fileame=${fileName}`);
    resp.writeHead(200, { 'Content-Type': 'text/csv' });

    resp.flushHeaders();

    // Stream the query result 
    cursor.stream()
        .pipe(csv.transfer(transformer))
        .pipe(csv.stringify({header: true}))
        .pipe(resp)
}