php - 刮 Goutte 并等待满载

Question

我尝试通过 Goutte 列表从流行的拍卖网络服务中抓取，但它们的部分代码是由 javascript 呈现的，问题是 Goutte 只返回没有 JS 作业的 DOM。因此，如果 symphony 是 headless 浏览器，是否可以等待抓取直到呈现完整内容？我检查了 phantomjs 哪里是正常的，但我从来没有在 Goute 中发现这种能力..

Answer 1

您可以使用 symfony/panther ( github/packagist )，这是一个 headless 浏览器，可以解释 javascript 并且已经支持 Symfony 5，加上是官方包!通常您会将其用于测试目的，但我认为您可能会得到想要的结果。

你应该用 Panther 替换你的 Goutte:

$client = \Symfony\Component\Panther\Client::createFirefoxClient();

然后告诉您的爬虫等待元素出现:

$crawler = $client->waitFor('#javascript-generated-element');