python-3.x - 网页抓取 : Page exists but getting 404 using requests/urllib

Question

我正在尝试抓取以下页面: http://usbcdirectory.com/listing/1-us-black-chambers

我使用的是Python 3.5.0

这是我的代码:

urllib.request.urlopen('http://usbcdirectory.com/listing/1-us-black-chambers')

使用上面的内容，我收到 404 未找到错误。但是，当我从浏览器打开该页面时，该页面存在。

我尝试寻找此问题的解决方案，以下是我发现的内容:

1. 将 urllib 更改为 requests:我已经这样做了，并且状态代码中出现 404 错误

>>>requests.get('http://usbcdirectory.com/listing/1-us-black-chambers')
    
Request <404>

我检查了我的链接是否正确

我试图查明该页面是否是使用 JavaScript 生成的。我相信事实并非如此。

这里的网页有什么问题？他们是否以某种方式阻止抓取，或者是 URL 的问题？

Answer 1

正如您所猜测的，他们可能会阻止您的请求。您可以传递自定义 header 来模拟您的请求，就像来自真实浏览器的请求一样:

import requests

url = 'http://usbcdirectory.com/listing/1-us-black-chambers'
headers = {'Accept': 'text/html'}
response = requests.get(url, headers=headers)
print(response.status_code)