web-scraping - 使用美丽汤的请求被阻止

Question

当我使用Beautiful Soup发出请求时，我被阻止为“机器人”。

import requests
from bs4 import BeautifulSoup

reddit1Link = requests.get("https://www.reddit.com/r/tensorflow/comments/650p49/question_im_a_techy_35_year_old_and_i_think_ai_is/")
reddit1Content =BeautifulSoup(reddit1Link.content,"lxml")
print(reddit1Content)

然后我从Reddit收到消息，说他们怀疑我是机器人。
通过“BeautifulSoup ”有哪些可能的解决方案？ (我已经尝试过Scrapy使用它的Crawlera，但是由于我缺乏python的知识，所以我不能使用它。)我不介意它是否是一项付费服务​​，只要它对初学者来说足够“直观”即可用。

Answer 1

被阻止为漫游器可能有多种原因。

当您按原样使用请求库时，阻止的最可能原因是缺少用户代理 header 。

抵御漫游器和爬虫的第一道防线是检查用户代理 header 是否来自主要浏览器之一，并阻止所有非浏览器用户代理。

简短版本:尝试以下操作:

import requests
from bs4 import BeautifulSoup

headers = requests.utils.default_headers()
headers.update({
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
})

reddit1Link = requests.get("https://www.reddit.com/r/tensorflow/comments/650p49/question_im_a_techy_35_year_old_and_i_think_ai_is/", headers=headers)
reddit1Content =BeautifulSoup(reddit1Link.content,"lxml")
print(reddit1Content)

详细说明:
Sending "User-agent" using Requests library in Python