node.js - 如何使用csv-parse的读写流

Question

大家好，我是新来的，我很困惑如何使用读取流和写入流，现在我尝试了这个(我正在使用这个库 https://www.npmjs.com/package/csv-parse )

    fs.createReadStream(path.join(__dirname,"../demofile/Customers.csv"))
        .pipe(parse(options))
        .on('data', function(csvrow) {
            console.log(csvrow);
            //do something with csvrow
            output.push(csvrow);        
        })
        .on('end',function() {
        //do something wiht csvData
        console.log(csvData);
        });

但我不认为它是正确的读取和写入 csv-parse 流的方法，任何人都可以建议我如何使用上面的代码进行读取和写入。基本上我想读取一个csv文件并将其写入另一个csv文件原因使用读写流是因为我的文件大小约为2gb

Answer 1

以下代码使用流来添加新列。我使用的文件大约是 500MB，最大使用的 RAM 还不到 50MB。请注意，我导入的不是 csv-parse，而是 csv，它实际上是一个“umbrella”模块，其中包括 csv-parse、csv-generate、stream-transform 和 csv-stringify。

const fs = require('fs');
const csv = require('csv');
const path = require('path');
const EOL = require('os').EOL;

FILE = path.join(__dirname, 'IN.csv');
NEW_FILE = path.join(__dirname, 'OUT.csv');

const readStream = fs.createReadStream(FILE);
const writeStream = fs.createWriteStream(NEW_FILE);

const parse = csv.parse();

const transform = csv.transform((row, cb) => {

    row.push('NEW_COL');
    result = row.join(',') + EOL;
    cb(null, result);
});

readStream.pipe(parse).pipe(transform).pipe(writeStream);