php - 如何将您的 PHP 脚本伪装成浏览器？

Question

我们使用某个站点的信息已有一段时间了(如果您提及来源，我们会允许站点允许)并且我们一直在手工复制信息。正如您所想象的那样，这很快就会变得乏味乏味，因此我一直在尝试通过使用 PHP 脚本获取信息来自动化该过程。

我要获取的 URL 是:

http://mediaforest.ro/weeklycharts/viewchart.aspx?r=WeeklyChartRadioLocal&y=2010&w=46 08-11-10 14-11-10

如果我在浏览器中输入它，它会起作用，如果我尝试 file_get_contents()，我会收到Bad Request

我想他们会检查客户端是否是浏览器，所以我推出了一个基于 CURL 的解决方案:

$ch = curl_init();

$header=array(
  'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12',
  'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language: en-us,en;q=0.5',
  'Accept-Encoding: gzip,deflate',
  'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7',
  'Keep-Alive: 115',
  'Connection: keep-alive',
);

curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_COOKIEFILE,'cookies.txt');
curl_setopt($ch,CURLOPT_COOKIEJAR,'cookies.txt');
curl_setopt($ch,CURLOPT_HTTPHEADER,$header);
$result=curl_exec($ch);

curl_close($ch);

我已经检查过， header 与我浏览器的 header 相同，但我仍然收到错误请求

所以我尝试了另一种解决方案:

http://www.php.net/manual/en/function.curl-setopt.php#78046

不幸的是，这也不起作用，我没有想法。我错过了什么？

Answer 1

尝试转义您的 URL，它对我有用。

http://mediaforest.ro/weeklycharts/viewchart.aspx?r=WeeklyChartRadioLocal&y=2010&w=46%2008-11-10%2014-11-10