javascript - puppeteer/chromium 由于内存不足导致服务器崩溃

Question

我使用nodejs/puppeteer将我的用户登录到远程网站...这是它的工作原理

客户端通过socket.io连接到nodejs服务器，客户端发送start_tunnel到nodejs服务器来启动puppeteer， Node 调用run(socket, data.token);来运行puppeteer

    io.on('connection' , function(socket){

        socket.on('start_tunnel' , function (data) {
            fullfillCaptcha[socket.id] = null ;
            set_stat(socket.id , 1 );
            run(socket , data.token );
        })

        socket.on('get_captcha_from_client' , function (data) {

            fullfillCaptcha[socket.id](data);

        })

    });

    var fullfillCaptcha = {};
    var pay_stats = {} ;

    function captchaPromise(id){
        return  new Promise(resolve => fullfillCaptcha[id] = resolve);
    }

这是为 puppeteer 操纵者提供午餐的run函数...我已经对代码进行了注释，因此很容易阅读...基本上它会打开一个包含带有验证码的表单的网页，从验证码图像中截取屏幕截图并将其发送到客户端，从客户端接收键入的验证码，将其放入输入中并提交表单

async function run(socket , token ) {

   /// OPENING THE WEB PAGE 
    const browser = await puppeteer.launch({headless: true , args:['--no-sandbox']});
    const page = await browser.newPage();
    await page.goto('http://example.com/init/' + token );

    await Promise.race([
        page.waitForNavigation(),
        page.waitForSelector(".Error")
    ]);

   /// CHECKING FOR ERROR

    if (await page.$(".Error"))
    {
        socket.emit('payment_connection_error' );
        set_stat(socket.id , 4 );
        browser.close();
        return ;
    }



   /// TAKING SCREENSHOT FROM CAPTCHA IMAGE

    console.log( ' current url  ' + page.url() );
    let element =  await page.$('#security');

    await element.screenshot({path: 'public_html/captcha/'+  socket.id+'.png'  });
    set_stat(socket.id , 2 );

    /// SENDING CAPTCHA IMAGE FOR CLIENT 
    socket.emit('send_captcha_to_client' , {text : socket.id+'.png'  });

    /// WAITING FOR CLIENT TO TYPE THE CAPTCHA AND SEND IT BACK TO SERVER 

    var captcha = await captchaPromise(socket.id);

    if( typeof(captcha.W_CAPTCHA) == 'undefined' || captcha.W_CAPTCHA == 'cancel' )
    {
        console.log('canceling ... ');
        set_stat(socket.id , 3 );
        browser.close();
        return ;
    }
    console.log( ' captcha confirm -> ' + captcha.W_CAPTCHA );
    set_stat(socket.id , 3 );

    /// TYPING CAPTCHA IN THE INPUT AND SUBMITTING THE FORM 

    await page.$eval('#CAPTCHA', (el , _captcha) => el.value = _captcha.W_CAPTCHA , captcha );
    await page.click('#doPay');


    /// CHECKING FOR SUCCESS OR ERROR OF FORM AFTER 

    await Promise.race([
        page.waitForNavigation(),
        page.waitForSelector(".Error")
    ]);


    if (await page.$(".Error"))
    {
        const pay_error = await page.$eval('.Error', (element) => {
        return element.innerHTML
    });

        console.log(" error : " + pay_error )
        socket.emit('payment_error' , {text : pay_error });
    }
else
    {

        console.log('all ok') ;
        await page.click('#doSubmitTop');
        await page.waitForSelector('#payment-result');
        console.log( ' current url  ' + page.url() );
        socket.emit('payment_result');



    }

    browser.close();
}

问题在于，由于缺乏 RAM 以及所有使用 RAM 的操纵者，我们遇到了大量服务器崩溃...我们有一个不错的 vps(4G RAM，2 个 CPU)...并且当我们测试时，没有太多服务器负载可以看到

所以我想知道我在这里做错了什么，或者有没有办法查看日志或其他东西来看看出了什么问题？

Answer 1

Puppeteer 内存崩溃的情况经常发生。有些页面甚至可能消耗 1 GB 内存，因此很难预测可以并行运行多少个实例。

如果您正在运行多个 Puppeteer 浏览器实例(正如我所期望的那样)，那么在打开几个选项卡的情况下很容易耗尽内存。

一些提高 Puppeteer 使用内存效率的方法:

• 使用选项卡(页面)而不是浏览器实例进行缩放(解决方案不太稳定，但从一个浏览器打开多个页面效率更高)
• 中止对不需要的资源(JS、CSS、字体、图像等)的请求https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#pagesetrequestinterceptionvalue
• 在池中排队并运行任务以限制并发性

为了确保 Puppeteer 不会杀死其他进程，您可以在资源有限的 docker 容器内运行它。

我们使用这个类https://github.com/apifytech/apify-js/blob/master/src/autoscaled_pool.js根据容器中的可用内存自动缩放 Puppeteer 任务(尽可能接近 100% CPU 和 100% 内存运行)。