node.js - Node JS - 渗透表单.submit

Question

我目前正在使用osmosis来抓取各个帐户内的信息。为了登录这些帐户，我尝试使用 submit 命令。然而它似乎没有做任何事情。我也尝试过 .login 但这似乎根本无法识别该表单。

文档似乎缺少任何示例。有人使用 osmosis 体验过 .submit 吗？

osmosis
    .get(url)
    .submit("form", {'gebruikersnaam': username, 'wachtwoord': password})
    .log(console.log)
    .error(console.log)
    .debug(console.log);

Answer 1

各个网站的情况有所不同。我假设您尝试登录的网站正在使用某种ajax。如果 .submit 不起作用，您可以尝试执行 .post。这是解决方法示例。尝试看看是否有效。

1. 通过登录后获取 cookie。第一个渗透实例
2. 在第二个渗透实例的 .config 中设置 cookie

代码:

osmosis
.get(loginUrl)
.post(loginPosturlTarget, {'username': username, 'password': password})
.then((context)=>{
    // store cookies after post login.
    let cookies = cookie.parse(context.request.headers['cookie']);
    scrapeData(cookies);

})
.log(console.log)
.error(console.log)
.debug(console.log);

function scrapeData(cookies){
    // do the actual scraping here with the cookie here
    osmosis
    .config('cookies', cookies)
    .get(url) 
    // your follow/set/paginate/whatever chain here
    .data((data)=> {
        // do something with the data
    })
    .log(console.log)
    .error(console.log)
    .debug(console.log);
}

它不能保证适用于您的情况，但我发现它适用于我工作过的大多数网站。如果仍然不起作用，也许可以尝试其他替代模块，例如 nightmareJs .