php - 需要抓取需要设置 "i agree"cookie 的网站内容

Question

从我读过的所有内容来看，这似乎是不可能的。但这是我的场景:

我需要抓取包含待售房屋信息的表格内容。该页面没有密码保护或其他任何东西，但您首先必须单击上一页上的“我同意”链接，以便设置一个 cookie，表示您同意内容可能不是 100% 准确。然后才向您显示数据。有什么办法可以使用 php/jquery/javascript 来完成这个吗？我知道您不能创建 iframe，因为它是跨域的。我也无法访问此其他网站。

感谢您的回答，因为我真的不期待任何积极的事情。 :) 非常感谢您能告诉我如何操作。 :D

Answer 1

使用服务器端脚本(使用 cURL 的 PHP)抓取网站并返回您需要的信息。确保为表示“我同意”cookie 的请求设置适当的 HTTP header 。

示例:

<?php

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/');
curl_setopt($ch, CURLOPT_COOKIE, 'I_Agree=1');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$responseBody = curl_exec($ch);

curl_close($ch);

// Read the information you need from $responseBody and return it as response body

?>

现在您可以通过调用上面的服务器端脚本从您的网站访问信息。有关如何使用 cURL 的详细信息，请查看 documentation .