python - 在抓取时以 Google 支持的形式提交值

Question

我正在尝试使用 Mechanize 和 BS4 抓取在线食品订购网站。我面临的问题是该网站有一个表单，该表单将位置作为由 Google 提供支持的输入。当我尝试使用此方法填充它时:

from bs4 import BeautifulSoup as bs
import requests, lxml, mechanize

url = raw_input("Enter URL: ")
browser = mechanize.Browser()
browser.open(url)

# 'placeSelectionForm' is the name of the input-field
browser.select_form(name='placeSelectionForm')
control1 = browser.form.controls[0]
control1._value = 'Koramangala'
browser.submit()
soup = bs(browser.response().read(), "lxml")
print soup.prettify()

该脚本对于我制作的普通 django 表单运行良好。但这里的问题是 Google 支持的表单正在使用自动完成 api，如下所示:

因此，当我输入某个位置的首字母缩写时，系统会自动提供建议，一旦我选择一个选项，表单就会自动提交，然后我就会转到一个新的网址。

现在，新页面的 URL 的问题是，无论我在表单中选择什么选项，URL 都保持不变，并且响应附带的值会根据我在上一页中选择的选项而变化。

如何使用 Mechanize 或 BS4 或任何其他此类工具填写此表单(由 Google map api 提供支持)？

Answer 1

这是一个 Javascript 相当“重”的网站，您可能会发现很难使用 mechanize 实现自动化。以下是您如何进行搜索、选择其中一项建议并等待结果加载 selenium :

# -*- coding: utf-8 -*-
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Firefox()
driver.maximize_window()
driver.get('http://www.swiggy.com/bangalore')

# wait for input to appear and make a search
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.ID, "pac-input"))).send_keys("Koramangala")

# wait for suggestions to appear
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "div.pac-container div.pac-item")))

# choose the first suggestion
suggestions = driver.find_elements_by_css_selector("div.pac-container div.pac-item")
suggestions[0].click()

# wait for results to load
wait.until(EC.visibility_of_element_located((By.ID, "restaurants")))

# TODO: extract results

我添加了评论以使事情变得清晰。如果您希望我扩展代码的任何部分，请告诉我。