gpt4 book ai didi

python - 在 Python 中的 Web 浏览器中打开和处理 URL 的最快方法

转载 作者:行者123 更新时间:2023-11-28 18:14:31 24 4
gpt4 key购买 nike

使用 Selenium 包我试图在浏览器中打开一个 URL。浏览器可以是 FirefoxGoogle。给定的 URL 被重定向到其他一些 URL 并且浏览器必须等待它直到它的 URL 被更改。这是我正在使用的代码:

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
starttime = time.time()
browser = webdriver.Firefox(executable_path='\\somepath\\chromedriver.exe')
browser.get("http://patft.uspto.gov/netacgi/nph-Parser?patentnumber=3,930,293")
wait = WebDriverWait(browser, 5)
wait.until(lambda driver: browser.current_url !=patent )
url = browser.current_url
r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')

for tag in soup.find_all(text=re.compile('Current U.S. Class:')):
table = tag.findParent('table')
result = table.find('tr').text
browser.close()
print(result) # Current U.S. Class: 29/428
print(time.time() - starttime)

但这会花费太多时间(例如 18 到 20 秒),而且我有大量这些 URL 数据集需要处理。有没有更快的方法来完成这项任务?

最佳答案

查看原始 URL 的响应,它只包含一个指向新 URL 的 HTML 重定向:

<HTML>
<HEAD>
<TITLE>Single Document</TITLE>
<META HTTP-EQUIV="REFRESH" CONTENT="1;URL=/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=3,930,293.PN.&OS=PN/3,930,293&RS=PN/3,930,293">
</HEAD>
</HTML>

假设响应始终具有相同的格式/内容,您可以使用 RegEx 轻松地从该响应中捕获子 URL,如下所示:

re.search('CONTENT="1;URL=(.+)"', r.text).group(1)

那就去吧。这一切现在都可以通过请求完成,因此您无需等待 Selenium!


这是使用上述技巧后的代码:

import time, requests, re
from bs4 import BeautifulSoup
start_time = time.time()
root_url = "http://patft.uspto.gov"
r = requests.get(root_url + "/netacgi/nph-Parser?patentnumber=3,930,293")
r = requests.get(root_url + re.search('CONTENT="1;URL=(.+)"', r.text).group(1))

soup = BeautifulSoup(r.text, 'lxml')

for tag in soup.find_all(string='Current U.S. Class:'):
table = tag.findParent('table')
result = table.find('tr').text
print(result)
print(time.time() - start_time)

输出:

Current U.S. Class: 29/428; 28/284; 28/297; 8/155 
2.2239434719085693

关于python - 在 Python 中的 Web 浏览器中打开和处理 URL 的最快方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49378655/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com