javascript - 如何通过 ssh2 Node.js 模块(在 Electron 应用程序内)使用 SFTP 一次下载/上传多个文件？

Question

我正在使用 Electron 构建一个简单的 SFTP 客户端，并尝试使用 ssh2 模块和该模块中的 SFTPStream 一次下载或上传多个文件。我尝试了许多不同的方法结构，其中一些包括使用 es6-promise-pool。我所做的每一次尝试都会导致要传输的文件数组中的一个文件被正确传输，然后是后续的

MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 sftp_message listeners added to [EventEmitter]. Use emitter.setMaxListeners() to increase limit

消息显示在控制台中，其余文件不会传输。我不确定如何更改我的方法结构以防止这种情况发生。我使用 ipcRenderer 告诉 ipcMain 执行我将在此处显示的方法(例如，这是我上传文件的结构)。

let counter = 0;

// Upload local file to server
ipcMain.on('upload_local_files', (event, args) => { // args[0] is connection settings, args[1] is array of file paths
  let conn = new Client();
  conn.on('ready', () => {
    let pool = new PromisePool(uploadFileProducer(conn, args[1]), 10);
    pool.start().then(() => {
      conn.end();
      counter = 0;
      let tempArgs = [];
      tempArgs.push(curLocalDir);
      tempArgs.push(curRemoteDir);
      event.sender.send('local_upload_complete', tempArgs);
    });
  }).connect(args[0]);
});

// Producer used in promise pool to upload files
function uploadFileProducer(conn, files){
  if(counter < 100 && counter < files.length){
    counter++;
    return(uploadFile(conn, files[counter - 1]));
  }else{
    return null;
  }
}

// Function used to upload files in promise pool
function uploadFile(conn, file){
  return new Promise((resolve, reject) => {
    conn.sftp((error, sftp) => {
      return sftp.fastPut(file, curRemoteDir + file.substring(file.lastIndexOf('/') + 1), {}, (error) => {
        resolve(file);
      });
    });
  });
}

诚然， promise 池的使用对我来说是新的，我不确定我是否会正确使用它们。关于此主题的另一篇文章使用 promise 池来防止我遇到的问题发生，但该示例未涉及 Electron 应用程序(我不知道这是否相关)。我很感激我能得到的任何帮助!

Answer 1

问题不在于警告，这只是一个警告，在您当前的用例中是正常的。上传的问题是 PromisePool 的错误使用。

我假设您正在使用 es6-promise-pool

您应该将 Promise 生成器函数传递给构造函数，但实际上您是调用该函数并传递 Promise，这就是为什么只上传单个文件的原因。

您应该传递生产者而不调用它，或者创建一个返回函数的生产者，或者使用生成器。

The PromisePool constructor takes a Promise-producing function as its first argument.

function *uploadFileProducer(conn, files) {
    for(const file of files)
        yield uploadFile(conn, file);
}

现在您可以调用:

let pool = new PromisePool(uploadFileProducer(conn, args[1]), 10)

并且PromisePool将正确迭代生成器函数返回的迭代器，并相应地处理并发。

您还可以创建一个每次调用都返回 Promise 的函数。

function uploadFileProducer(conn, files) {
  files = files.slice(); // don't want to mutate the original
  return () => uploadFile(conn, files.shift())
}

<小时/>

关于警告，如果您同时上传多个内容，这是正常的，如果是这种情况，您可以使用以下方法增加限制:

emitter.setMaxListeners(n)