gpt4 book ai didi

javascript - 使用 CasperJS 将源代码转储到 mongoDB

转载 作者:行者123 更新时间:2023-11-30 06:53:44 24 4
gpt4 key购买 nike

如何将通过 casperjs 抓取的数据存储到 MongoDB 中?我在 casperjs 中有一个脚本,它从数百万个网站上抓取数据并将每个网站的内容存储在一个单独的文件夹中。我现在意识到我应该将数据保存到 MongoDB 上以便轻松执行 CRUD 操作。请帮忙。

最佳答案

db.webpages.insert({"renderedHTML": "<escaped string/text>"})

您可能想要存储额外的元数据(例如,抓取的时间戳、URL 等)

关于javascript - 使用 CasperJS 将源代码转储到 mongoDB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21650525/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com