python - 用动态形式的请求替换 Selenium

Question

我想对 [this][1] 页面动态表单进行网络抓取，我现在正在为此使用 Selenium 并获得了一些结果。

我的问题:

1. 可以用一些 POST 请求替换 Selenium + WebDriver 代码吗？ (我以前使用过 Requests，但只有当 API 可用时...我不知道如何反向编码这种形式)

2. 是否有更好的方法来清理结果页面以仅获取表格？ (在我的示例中，结果“数据”变量一团糟，但无论如何我已经获得了脚本的主要目的的最后一个值)

3. 有什么建议吗？

我的代码:

from selenium import webdriver
import pandas as pd

from bs4 import BeautifulSoup

def get_tables(htmldoc):
    soup = BeautifulSoup(htmldoc)
    return soup.findAll('table')

driver = webdriver.Chrome()
driver.get("http://dgasatel.mop.cl/visita_new.asp")
estacion1 = driver.find_element_by_name("estacion1")
estacion1.send_keys("08370007-6")
driver.find_element_by_xpath("//input[@name='chk_estacion1a' and @value='08370007-6_29']").click()
driver.find_element_by_xpath("//input[@name='period' and @value='1d']").click()
driver.find_element_by_xpath("//input[@name='tiporep' and @value='I']").click()
driver.find_element_by_name("button22").click()

data = pd.read_html(driver.page_source)

print(data[4].tail(1).iloc[0][2])

提前致谢。[1]: http://dgasatel.mop.cl/visita_new.asp

Answer 1

对您的问题的简短回答是肯定的，您可以使用请求库来发出发布请求。例如，您可以轻松地在浏览器上打开检查器并使用以下站点复制请求:

https://curl.trillworks.com/

然后您可以将 response.text 提供给 BeautifulSoup 以解析出您想要的表格。

当我对您示例中的网站执行此操作时，我得到以下信息:

import requests

cookies = {
    'ASPSESSIONIDCQTTBCRB': 'BFDPGLCCEJMKPFKGJJFHKHFC',
}

headers = {
    'Connection': 'keep-alive',
    'Pragma': 'no-cache',
    'Cache-Control': 'no-cache',
    'Origin': 'http://dgasatel.mop.cl',
    'Upgrade-Insecure-Requests': '1',
    'Content-Type': 'application/x-www-form-urlencoded',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Referer': 'http://dgasatel.mop.cl/filtro_paramxestac_new.asp',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'en-US,en;q=0.9',
}

data = {
  'estacion1': '-1',
  'estacion2': '-1',
  'estacion3': '-1',
  'accion': 'refresca',
  'tipo': 'ANO',
  'fecha_fin': '11/12/2018',
  'hora_fin': '0',
  'period': '1d',
  'fecha_ini': '11/12/2018',
  'fecha_finP': '11/12/2018',
  'UserID': 'nobody',
  'EsDL1': '0',
  'EsDL2': '0',
  'EsDL3': '0'
}

response = 
requests.post(
    'http://dgasatel.mop.cl/filtro_paramxestac_new.asp',
    headers=headers, cookies=cookies, data=data)

为了清理数据，我建议您将所需的数据点映射到字典或带循环的 csv 中。

for table in data:
    if table.tail(1) and table.tail(1).iloc:
        print(table.tail(1).iloc[0][2])