javascript - 使用Node.js同步下载N个远程文件

Question

我正在使用 Node.js 开发一个简单的应用程序，它需要在给定有效 URL 时执行以下操作

1. 检索远程页面的 HTML，将其保存在本地。
2. 抓取 HTML(使用 cheerio)并记录所有 JS 和 CSS 文件引用。
3. 对每个JS/CSS文件进行HTTP请求，并按文件名保存到服务器。
4. 压缩 html、css 和 js 文件并将生成的文件流式传输到浏览器。

我有 1 和 2 的工作，以及 #3 的前半部分，但我遇到了下载同步性质的问题。我的代码运行速度太快，为 CSS 和 JS 文件生成了文件名，但没有生成任何内容。我猜这是因为我的代码不是同步的。问题是我事先不知道可能有多少文件，而且在生成 ZIP 文件之前所有这些文件都必须存在。

这是我的应用程序当前存在的流程。我省略了辅助方法，因为它们不影响同步性。你们中的任何人都可以提供关于我应该做什么的意见吗？

http.get(fullurl, function(res) {
    res.on('data', function (chunk) {
        var $source = $(''+chunk),
            js = getJS($source, domain),
            css = getCSS($source, domain),
            uniqueName = pw(),
            dir = [baseDir,'jsd-', uniqueName, '/'].join(''),
            jsdir = dir + 'js/',
            cssdir = dir + 'css/',
            html = rewritePaths($source);

        // create tmp directory
        fs.mkdirSync(dir);

        console.log('creating index.html');

        // save index file
        fs.writeFileSync(dir + 'index.html', html);

        // create js directory
        fs.mkdirSync(jsdir);

        // Save JS files
        js.forEach(function(jsfile){
            var filename = jsfile.split('/').reverse()[0];
            request(jsfile).pipe(fs.createWriteStream(jsdir + filename));
            console.log('creating ' + filename);
        });

        // create css directory
        fs.mkdirSync(cssdir);

        // Save CSS files
        css.forEach(function(cssfile){
            var filename = cssfile.split('/').reverse()[0];
            request(cssfile).pipe(fs.createWriteStream(cssdir + filename));
            console.log('creating ' + filename);
        });

        // write zip file to /tmp
        writeZip(dir,uniqueName);

        // https://npmjs.org/package/node-zip
        // http://stuk.github.com/jszip/

    });
}).on('error', function(e) {
    console.log("Got error: " + e.message);
});

Answer 1

您通过请求模块下载文件的方式是异步的

request(cssfile).pipe(fs.createWriteStream(cssdir + filename));

而不是像那样下载你需要像这样创建一个单独的函数

function download (localFile, remotePath, callback) {
var localStream = fs.createWriteStream(localFile);

var out = request({ uri: remotePath });
out.on('response', function (resp) {
    if (resp.statusCode === 200){
        out.pipe(localStream);
        localStream.on('close', function () {
            callback(null, localFile);
        });
    }
    else
        callback(new Error("No file found at given url."),null);
})
};

你需要使用 colan https://github.com/caolan/async 的异步模块对于

// Save JS files
    async.forEach(js,function(jsfile,cb){
        var filename = jsfile.split('/').reverse()[0];
        download(jsdir + filename,jsfile,function(err,result){
          //handle error here

          console.log('creating ' + filename);
          cb();
        })                        
    },function(err){
     // create css directory
    fs.mkdirSync(cssdir);

    // Save CSS files
    css.forEach(function(cssfile){
        var filename = cssfile.split('/').reverse()[0];
        request(cssfile).pipe(fs.createWriteStream(cssdir + filename));
        console.log('creating ' + filename);
    });

    // write zip file to /tmp
    writeZip(dir,uniqueName);
    });