error-handling - Scrape Offer 不返回任何结果

Question

我在数据库中研究了这个问题，搜索了问题，发现了两个不同的错误。我已经确定 503 错误是亚马逊阻止了我，但我得到了一个不同的错误，该错误是相同的，但没有 503 返回。我无法破译差异。任何人都可以提供帮助？下面列出了我遇到的错误。我使用的 html 解析器是 HTML Agility Pack 和 Just Agile

http://www.amazon.com/gp/offer-listing/1902915208 error The remote server returned an error: (503) Server Unavailable.

和

Scrape Offers returned no results.

错误是不一致的，所以不容易被捕获。错误在下一个废料中返回。这是非常随机的，并且不会始终如一地发生在同一产品上。我每天都会收到很多这样的信息，这使我无法更新价格并向客户提供正确的信息。

Answer 1

所以我发现，问题是发送到亚马逊的用户代理。
我将以下命令添加到我的 CURL 选项中，现在它可以工作了 - 即使没有 US-Proxy。

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');