javascript - 抓取书签服务的远程 URL 而不会被阻止

Question

我正在使用服务器端 Node.js 函数来获取浏览器传递的 URL 文本，以便在书签服务中自动索引该 URL。我用jsdom用于服务器端渲染。但是，尽管请求来自合法用户，但我还是被阻止访问热门网站。

有没有办法在浏览器端实现 URL 文本提取，使得请求看起来总是来自正常分布的用户？如何解决浏览器中的跨站点安全限制？我只需要最终的 DOM 渲染文本。

小书签是最好的解决方案吗？当用户想要为页面添加书签时，我只需在小书签中附加一个表单并在我的小书签中提交 DOM 渲染的文本？

我知道 SO 讨厌辩论，但任何有关好的方法的指导将不胜感激。

Answer 1

您当然可以在客户端执行此操作，但我认为这会过于复杂。客户端必须将 html 发送到您的服务，这需要非常仔细的清理，并且可能难以控制传入数据量。

我可能会简单地跟踪请求域并确保限制对任何单个域的调用频率。如果使用像 Node.JS 这样的东西，你可以轻松地设置任意数量的后台获取任务，那么这应该是相当简单的。这还允许您微调所使用的带宽。