python - 请求 url 作为移动设备

Question

我正在尝试发送 GET使用 User-Agent 请求一些 url作为移动设备获取重定向的 url(例如 - http://m.google.com 而不是 http://google.com )。

我试过 requests图书馆和 urllib2太 - 似乎 User-Agent不随请求一起发送。还可以在这里阅读另一个问题，但答案还不够清楚——如果它只是有问题，或者我错过了什么？

这是我的代码:

try:
    req = requests.get(item.url, headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B137 Safari/601.1'}, timeout=5)

except requests.exceptions.HTTPError:
    continue

except requests.exceptions.Timeout:
    continue

print (item.url + ' => ' + req.url + ' (' + str(req.status_code) + ')')

尽管如此，请始终获取计算机版本而不是移动版本。

Answer 1

好吧，最终找到了一个解决方案..它有点慢，如果我不需要移动版本，只需使用 urllib2或 requests .

import requests
import os

from selenium import webdriver
from selenium.webdriver.chrome.options import Options as SeleniumOptions
from selenium.common.exceptions import ErrorInResponseException, TimeoutException, UnexpectedAlertPresentException

headers = SeleniumOptions()
headers.add_argument("user-agent=Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B137 Safari/601.1")

driver = webdriver.Chrome(executable_path=os.path.abspath('app/static/drivers/chromedriver'), chrome_options=headers) # path of the chrome driver
driver.set_page_load_timeout(10) # request timeout - 10 seconds

try:
    req = driver.get(YOUR_URL_HERE)

    print YOUR_URL_HERE + ' => ' + driver.current_url + ' (' + str(requests.get(driver.current_url).status_code) + ')'

except ErrorInResponseException:
    continue

except TimeoutException:
    continue

except UnexpectedAlertPresentException: # dismiss alerts
    alert = driver.switch_to.alert
    alert.dismiss() # can be alert.accept() if you want to accept the alert

driver.quit()

请注意，我使用了 Chrome 驱动程序 - 你可以在这里找到它 https://sites.google.com/a/chromium.org/chromedriver/downloads

享受。