gpt4 book ai didi

python - 我如何获得该网站的回复?

转载 作者:行者123 更新时间:2023-12-01 09:11:19 24 4
gpt4 key购买 nike

我的问题很简单,我想从以下网站得到回复: http://www.pulsant.com

我只是想检查是否存在重定向,为此我使用以下代码:

import urllib.request as Request
import urllib.parse
url = 'http://www.pulsant.com'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
values = {'name': 'Michael Foord',
'location': 'Northampton',
'language': 'Python' }
headers = {'User-Agent': user_agent}

data = urllib.parse.urlencode(values).encode("utf-8")
debug_requests_on()
req = Request.Request(url, data, headers)
response = Request.urlopen(req)
the_page = response.read()

这段代码适用于很多网站,但偶尔也有少数网站不起作用,我得到了这样的回复:

HTTPError: HTTP Error 503: Service Temporarily Unavailable

这个网站确实在线并且正在运行,但是它给我的响应并不是我所期望的。

我尝试过欺骗我的用户代理和发送请求的不同方法,但是我就是无法弄清楚如何从该网站获得响应。

最佳答案

我尝试使用requests模块来获取响应,并且它有效。如果这对您不起作用,该网站可能有一些 GeoIP 阻止或其他机制:

import requests
from bs4 import BeautifulSoup

r = requests.get('http://www.pulsant.com')
soup = BeautifulSoup(r.text, 'lxml')

print(soup.title.text)
print(soup.h1.text)

打印:

Hybrid IT & Managed Cloud Hosting Solutions | Pulsant

Experts in compliant business cloud platforms

关于python - 我如何获得该网站的回复?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51631812/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com