ajax - 如何众筹我的网络爬虫

Question

我的Web应用程序需要从指定的用户URL下载内容。
当前，此请求通过我的服务器，这效率很低并且可能会阻塞我的服务器IP。

有没有办法让用户直接下载URL内容？
同源策略似乎阻止使用AJAX或iframe下载和重用此内容。

有任何想法吗？例如，是否可以通过Flash下载和重用URL内容？

Answer 1

您可以使用Tor掩盖您的请求，但是如果您要花这么长的时间来爬网网站，也许您不应该这样做？

同样，通过您的方法，iframe请求将包括您的页面网址作为引荐来源网址，这使得在服务器端识别这些请求非常简单...