javascript - 使用 JavaScript 进行网页抓取？ JavaScript 文件 I/O？ JavaScript 迭代 URL？自动加载外部脚本？

Question

我希望进行一些网络抓取，而不需要通过帮助台和 IT 来安装和配置 Python(我没有管理员权限，因为我是实习生)。

我已经在 J​​avaScript 中编写了所需的日志记录函数，但我需要将程序中的数据提取到 CSV 中，以便之后可以转换为 .XLS。

我想知道 JavaScript 是否可以做这些事情:

1. JavaScript 可以写入文件吗？
2. 我可以通过单击按钮来运行外部脚本吗？即无需将代码粘贴到每个页面的控制台中。或者甚至可能在页面加载时自动运行外部脚本？
3. 我可以自动迭代并加载 URL 吗？ URL 详细信息全部保持不变，只有一个整数值因页面而异。

预先感谢您的任何意见!!

Answer 1

1) 是的，您可以使用 javascript 写入文件 node.js像这样使用 fs 模块。

const fs = require('fs');
fs.writeFile('file.txt', data_to_write[, options], callback)

引用:https://nodejs.org/api/fs.html#fs_fs_writefile_file_data_options_callback

2) 是的，您可以使用puppetter运行 Headless Chrome 脚本

3) 浏览 puppeteer 文档，您可以找到如何在浏览器上加载 URL。迭代链接并将它们存储在字符串中并打开页面。然后使用 page.evaluate() 运行代码并抓取内容。