bash - cURL 结果为 503；页面在浏览器中工作正常。

Question

我正在尝试使用 cURL 从网页中实用地收集信息。我需要的信息非常基本，页面也很基本。

使用 cURL 时，我收到 503 错误。当我在同一台机器的浏览器中访问同一页面时，页面加载得很好。我读到这可能是由于网站要求在查询时传递 cookie 造成的。我试过这个，但不可否认，我可能做错了(我从网络浏览器的检查器中获取了 cookie)。

curl --cookie "sessionId=.eJxrYKotZNQI5S9OLS7OzM-LT81LTMpJTfFmChVIzEktKolPzkhNzo4vycxNLWRKTkksSQUxueCMQuZQLvaHHGI82lqMp0KTCypLqrjiQ0OcuQpZNIMKWduCCtlCuUvyi-NLC0B6UgrZO0v1ACyMJy0:1dk8X0:WIgK35IaFa7RbCe7EqpSMtLjK9w" https://www.appannie.com/en/apps/ios/app/284815942/ -o /tmp/test.html

我是一个非常基础的用户；具有非常基本的知识。我很有可能遗漏了一些明显的东西。我已经收集到我试图使用 nginx 访问的站点，如果这是一个重要的警告。

Answer 1

有些站点会禁用 curls 用户代理，有些站点会禁用缺少 header 的浏览。我在 curl 下面试过，效果很好

curl 'https://www.appannie.com/en/apps/ios/app/284815942/' -H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br' -H 'accept-language: en-US,en;q=0.8' -H 'upgrade-insecure-requests: 1' -H 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36' -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'cache-control: no-cache' -H 'authority: www.appannie.com' --compressed

这就是浏览器实现它的方式，这就是您应该尝试和复制的方式