php - 使用 PHP 抓取 Google 搜索

Question

我正在努力思考如何使用 PHP 或 JavaScript 获取 Google 搜索结果。我知道以前可行，但现在我找不到办法。

我正在尝试(在某种程度上)复制
的功能 http://www.getupdated.se/sokmotoroptimering/seo-verktyg/kolla-ranking/

但我真正要解决的核心问题只是通过 PHP 或 JavaScript 获取搜索结果，其余的我可以解决。

使用 file_get_contents() 或 cURL 获取结果似乎不起作用。

示例:

$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, 'http://www.google.se/#hl=sv&q=dogs');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$result = curl_exec($ch);
curl_close($ch);
echo '<pre>';
var_dump($result);
echo '</pre>';

结果:

string(219) "302 Moved The document has moved here."

所以，通过一些谷歌搜索，我找到了 http://code.google.com/apis/customsearch/v1/overview.html但这似乎只适用于为一个或多个网站生成自定义搜索。它似乎需要传递一个“自定义搜索引擎”cx 参数。

无论如何，有什么想法吗？

Answer 1

我之前做过。通过发出 https://www.google.co.in/search?hl=en&output=search&q=india http 请求生成 html 内容，现在使用 htmldom php 库解析特定标签。您可以使用 PHP SIMPLE HTML DOM 解析结果页面的内容

DEMO : Below code will give you title of all the result :

<?php

include("simple_html_dom.php");

$html = file_get_html('http://www.google.co.in/search?hl=en&output=search&q=india');

$i = 0;
foreach($html->find('li[class=g]') as $element) {
    foreach($element->find('h3[class=r]') as $h3) 
    {
        $title[$i] = '<h1>'.$h3->plaintext.'</h1>' ;
    }
       $i++;
}
print_r($title);

?>