javascript - 自动执行 HTTP 请求

Question

我与一个团队合作，他们让用户进入公司数据库的唯一方法是在浏览器中浏览并填写大约 5 页的 Web 表单。真是残酷的事情。我已经用 VBScript、Java(使用 Selenium WebDriver)和 iMacro 开发了 Web 自动化脚本，但所有这些解决方案都慢。它们还依赖于我正在尝试摆脱的浏览器。

我正在寻找一个新平台，可能是某种脚本技术/语言，允许我发出 HTTP 请求并读取 HTTP 响应，然后在那里构建我的脚本。该脚本将对 HTTP 响应执行计算，使用文件 I/O 并使用此数据发出进一步的 HTTP 请求。再说一次，我只是在这里吐口水。如果其他人有更好的解决方案，我洗耳恭听!

我向您提出的问题是:接受团队的限制(只读数据库访问)，您将如何实现解决方案以及您将使用哪些工具/语言/平台来实现这一目标？

欢迎宽泛且模棱两可的答案。感谢您的时间。

Answer 1

我同意@Grisk关于使用NodeJS/ioJS作为平台的观点。它是一款专为 I/O 全新设计的强大工具，非常适合解决您的问题。此外，node 社区非常活跃，npm(nodejs 包管理器)托管着数千个易于访问的模块。为了避免将来出现任何混淆:不要将 NodeJS 误认为是一种语言或后端框架；它是一个构建在 Google V8 引擎之上的原生 JavaScript 解释器，以及一组用于构建强大的 I/O 应用程序的内置模块。在线阅读有关节点的信息。

对于您的具体问题，我想说您有两种选择:

1. 使用虚拟 cookie 冒充浏览器
2. 像您一直在做的那样，以编程方式浏览网站。

对于前一个选项，您需要手动确定在每个页面上提交表单时将哪些 cookie 发送到服务器，然后在脚本中生成这些 cookie 并将它们包含在 http 请求中。查看nodejs http documentation有关自定义请求 header 的更多信息。

您的标题需要看起来像这样:

var headers = {
    'host': < website host address here > ,
    'origin' : <website origin here>
    'referer' : <website origin here>
    'User-Agent': 'Opera/9.52 (X11; Linux i686; U; en)',
    'Cookie': <cookie sent over by server here>
}

我最近遇到了 node-icloud 库，它使用我上面描述的第一种方法来提供对 icloud 帐户的编程访问。我强烈建议通读它的代码，看看它是如何工作的 here 。

此外，我建议阅读有关 http header here 的内容。

对于第二个选项，请查看 phantomjs和僵尸。 Phantom 很好，因为它无需浏览器即可工作。我不确定这两个库的速度与您已经执行的操作相比如何，但它们值得测试。

最后一件事:我建议构建一个自定义 (JSON)DSL 来自动与网页交互，以便您可以非常轻松地重新设计浏览器交互工作流程。

此外，如果您选择使用nodejs，了解节点流及其事件循环背后的细节将是有益的。

祝你好运!