curl - 如何用 curl 欺骗搜索引擎机器人？

Question

关闭。这个问题是off-topic .它目前不接受答案。












想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。

8年前关闭。




Improve this question




如何使用 cURL 向网站发出请求并让该网站相信我是一个搜索引擎。

Answer 1

您可以将您的用户代理设置为 Googlebot 的(有关 Google's KB 上使用的确切用户代理的更多信息):

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');

但这可能并不总是有效!有些网站可能会选择 Reverse DNS check任何自称是 Googlebot 的人。