python - 无法解析要在链接中使用的数字

Question

我在 python 中创建了一个脚本，用于从网页获取 Tax District 的值。在它的主页中，有一个表格可以填写以生成结果，其中我正在寻找的信息可用。当我使用下面的脚本时，我得到了想要的结果，但问题是我必须使用不同的链接来解析结果。我在我的脚本中使用的链接仅在填写表单时可用。新生成的链接(我在我的脚本中使用过)有一些数字，我不知道如何找到它。

Main link

在搜索表单中有一个单选按钮 Street Address，默认选中。然后:-

house number: 5587 (just above Exact/Low)
street name: Surrey

This is the link https://wedge.hcauditor.org/view/re/5500171005200/2018/summary generating automatically which has some number 5500171005200 within it.

我已经编写了以下脚本来获取结果，但真的不知道当我使用不同的搜索词时，该 url 中的数字如何随着数字的变化而生成:

import requests
from bs4 import BeautifulSoup

url = 'https://wedge.hcauditor.org/view/re/5500171005200/2018/summary'

r = requests.get(url)
soup = BeautifulSoup(r.text,"lxml")
item = soup.select_one("div:contains('Tax District') + div").text
print(item)

如何获取新生成的链接中使用的数字？

Answer 1

似乎是 POST 和 GET 没问题。无需寻找其他号码。我使用 Session 来传递 cookie。但是，您引用的链接可在 GET 响应中找到。

import requests
from bs4 import BeautifulSoup as bs

data = {
    'search_type': 'Address',
    'sort_column': 'Address',
    'site_house_number_low':5587,
    'site_house_number_high':'',
    'site_street_name': 'surrey'  
}

with requests.Session() as s:
    r = s.post('https://wedge.hcauditor.org/execute', data = data)
    r = s.get('https://wedge.hcauditor.org/view_result/0')
    soup = bs(r.content,'lxml')
    print(soup.select_one('.label + div').text)

---

您可以查看网络流量中捕获的详细信息和顺序。我这里正好用到了fiddler。