Node.JS 加载一个 html 页面，填写表单，然后按下提交按钮

Question

我是 node.js 的新手，我正在考虑一起破解我公司的一些产品。然而，其中一个系统是为 Node.js 编写的，而另一个我也无权访问的系统由标准登录页面控制。此登录包含一些关键数据点，我想从 html 中提取这些数据点。我想在幕后做这件事，不想显示网页或任何东西。我只想执行表单提交，并获取请求。

谁能指出正确的方向？

Answer 1

根据您的登录流程的复杂程度以及底层系统的构建方式，可能需要不同级别的自动化。

通过 API 实现

首先，不要依赖屏幕抓取来做任何事情。它很糟糕并且容易失败。当底层应用程序更新时，没有人会想到屏幕抓取器，事情就会发生变化。如果有REST要使用的 API 或其他类型的 RPC(远程过程调用)，请改用它。如果没有，请询​​问 API。只有在那之后你才应该尝试屏幕抓取。

低级 HTTP 请求

您可以模拟 HTTP 请求，而无需尝试完全模拟浏览器。先在浏览器中完成请求，同时 Network Monitor in your Developer Tools开了。找到您需要的最少请求数。有时这只是一个 POST 到 /login 与 username 和 password 字段。有时您需要存储一个 cookie，然后通过您的用户 session 请求所需的页面。

使用needle或更常见但更重量级的request .

headless 浏览器

headless 浏览器是进入 UI 的第一步，让您不必担心后端 HTTP 请求的作用。您告诉 API 填写 login 字段和 password 字段并提交表单。 headless 浏览器将为您完成后台工作，例如 cookie 和重定向，并返回呈现的网页。

使用Zombie.js , PhantomJS , CasperJS .

完整的浏览器自动化

更复杂的网站自动化有时需要完整的浏览器才能正常工作。这通常发生在您严重依赖 Javascript 呈现的网页和更高级的用户交互时。

Webdriver是用于控制浏览器的标准 API。 Webdriver 客户端是一种语言 API 实现，可以与 Webdriver 服务器通信。 Webdriver 服务器启动一个完整的浏览器实例并将 API 调用转换为实际的浏览器操作。

Webdriver.io和 Selenium Standalone Server将涵盖您的大部分需求。
Internet Explorer有可用的 native 服务器。
Chrome也发布他们自己的本地 webdriver 服务器。