个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
我正在尝试使用 X-Ray 执行以下操作，我不熟悉网页抓取，并且我正在寻找适合我使用的技术。
浏览到一个页面，在其中分配一个特定的表单，设置一些变量，然后提交。然后获取其他页面，依此类推...
最好的基于 NodeJS 的解决方案是什么？带有示例和文档来完成此任务？
谢谢。
最佳答案
有许多为网络抓取而创建的 Node 模块。
其中一些是:
参见Node.js Scraping Libraries - Moritz Klack 在 Webkid 博客上进行了非常好的比较。
网上有一些关于如何使用其中一些的不错的文章，主要是关于 Cheerio 的:
值得一提的是，X射线模块是由Cheerio的作者编写的 - 参见:X-Ray: A Scraper by the Author of Cheerio在 DailyJS 上。
关于node.js - NodeJS 网页抓取 - 表单提交，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37444122/
24
4
0
我的 React 项目需要更新 nodejs。那么我如何将我的 Node js 重新安装到 Ubuntu 16.04 中的最新版本。 我当前的 Node 版本是 node -v v6.0.0 我当前的
我正在寻找逐步调试 NodeJS 服务器代码的有效方法。目前我使用了几十个console.log()，这非常困难。完美的工具可以让我检查堆栈中每个变量的值并逐行跟踪我的程序。首选操作系统 = MacO
我的网站上有以下两个文件: firebase.js gridsome-server.js firebase.js 是一个“常规”javascript 文件，包含以下内容: import firebas
我有一个nodejs应用程序从文件夹A执行，二进制X也在文件夹A中执行(使用子进程exec)。二进制 X 在文件夹 A 中生成输出文件 O，因此始终从调用位置开始。 我需要nodejs应用程序来在仲裁
我有以下nodeJS服务器，它似乎工作正常。我想编写一个客户端，从服务器接收消息并根据消息调用一些 JS。 涉及的步骤是: 用户访问网址http://server.xyz.com:8080/pa no
我想从 Node 服务器进行其余 api 调用。我目前脑子里有请求模块。 您是否会建议用于 Nodejs 中生产实践的 REST 调用(get/post)的任何其他最佳模块？ 问候，公羊 最佳答案 R
我正在尝试像这样使用 mainModule: const { mainModule } = require('process'); module.exports = path.dirname(main
我现在对那些版本号真的很困惑。我正在计划一个新项目，想知道这两个版本之间有什么区别。这两个版本之间似乎有很大的跳跃，但现在我找不到区别。 使用 4.1 版安全吗？ 感谢您的帮助! 最佳答案 跳转到 v
我试图找到我的问题的解决方案，但找不到，并且正在寻找一些“最佳实践示例”。我有一个 nodejs express 应用程序，我的函数在文件中拆分。例如我有这个 Controller (oktacont
这看起来像是一个非常简单的问题，但作为一个 JS 初学者，我想知道是否可以在 webextension 中使用 NodeJS 模块(例如我想使用这个:https://github.com/yaronn
我有一个文件。a.js class A{ constructor(name){ this.name = name; } displayName(){ conso
我想做的是这样的: node x.js | node y.js 文件 x.js 只是打印一个字符串: console.log("hi"); 文件 y.js 旨在通过 process.stdin 获取字
对于这个新的nodejs debugger I am working on我想对显示的源代码行进行着色。有什么关于 npm 使用的建议吗？ 有很多语法荧光笔，但使这种情况有点不同的是 输出是到终端；它
有没有什么方法可以从 ejs View 中引用包含在 node_modules 文件夹中的 Nodejs 库？ 我正在使用 expressjs 并且我的客户端库由 /public 文件夹提供，如下所示
我是 NodeJS 的新手，我正在尝试根据 NodeJS 站点上的指南在 NodeJS 中创建一个服务器。我已经在我的电脑上安装了 NodeJS 并使用以下代码制作了 app.js 文件。 const
我有一个 nodejs-express 服务器 (1) 与 mongodb 通信，还有一个 web 服务器 (2) 在 nodejs-express 和 Angularjs 中。我正在尝试发出 pos
我一直在解决(firebase 和 nodejs)问题，这是该问题的第四部分，如何在登录到 server.js 后传递数据 我已经尝试过this但未能使其正常工作。 基本上，我正在尝试将用户idTok
每次页面刷新时，NodeJS 都会在套接字上多次写入数据。当我刷新页面时，nodejs 服务器写入套接字的计数增加，在多个页面刷新时，写入计数固定为 3。 请检查控制台输出是否有此奇怪的响应。请提出同
我在尝试更新文件夹并再次部署其内容时遇到问题。我必须使用 NodeJS 并已获得端口 8080 来使用。我尝试创建一个 php 脚本(update.php): 现在我想启动NodeJS脚本进行更新，
我不明白java多线程系统和Nodejs多线程系统在性能和资源共享方面的区别。由于 NodeJS 为您的程序使用事件循环单线程，但在幕后，它将任务分配给不同的线程，如文件读取或数据库查询。所以它使用多
我是一名优秀的程序员,十分优秀！