python - 如何使用 BeautifulSoup 发送 key

Question

我使用 selenium 创建了一个脚本来获取给定的GST NUMBER信息。我完成了该程序，它毫无问题地为我提供了所需的输出详细信息。

现在我不想再与 Chrome 浏览器交互，所以我尝试使用 BeautilfulSoup 来实现此操作。

BeautifulSoup 对我来说是新的，所以我不太了解如何查找元素，并且我搜索了很多有关如何使用 BeautifulSoup 发送 key 的信息，但我没有得到它。

现在我的脚本卡在这里了。

from bs4 import BeautifulSoup
import requests
import urllib.request as urllib2

quote_page = 'https://my.gstzen.in/p/search-taxpayer'
page = urllib2.urlopen(quote_page)
soup = BeautifulSoup(page, 'html.parser')

现在，即使我设法找到 gst 输入元素，我也想知道如何向它发送 key ？例如发送输入按钮代码或点击“搜索 GST 详细信息”的 15 位 GST 号码。

如果可能，请告诉我解决方案，以便我开始研究。

事实上，我今晚需要完成这个。

另外，这是我的脚本，它可以轻松地使用 selenium 执行相同的操作，并且我想使用 BeautilfulSoup 执行相同的操作，因为我不希望每次在检查 GST 时运行 chrome，而且 BeautilfulSoup 看起来很有趣。

import selenium
import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
import csv
import requests
#import pyvirtualdisplay            
#from pyvirtualdisplay import display

#display = Display(visible=0, size=(800, 600))
#display.start()


browser = webdriver.Chrome('E:\\Chrome Driver\\chromedriver_win32\\chromedriver.exe')
browser.set_window_position(-10000,0)
browser.get('https://my.gstzen.in/p/search-taxpayer/')


with open ('product.csv') as csv_file:
    csv_reader = csv.reader(csv_file, delimiter=',')
    next(csv_reader)
    for row in csv_reader:
        name, phone = row
        time.sleep(1)
        gst = browser.find_element_by_name('gstin')
        gst.click()
        gst.send_keys(name)
        time.sleep(1)
        Details = browser.find_element_by_xpath("//*[contains(text(), '                Search GSTIN Details')]")
        Details.click()
        info = browser.find_element_by_class_name('col-sm-4')
        print(info.text)
        info2 = browser.find_element_by_xpath('/html/body/div[4]/div/div/div[1]/div[2]/div[2]/div[1]/div[2]')
        print(info2.text)
        input('Press Enter to quit')
        browser.quit()

Answer 1

BeautifulSoup 是一个用于解析和格式化的库，而不是与网页交互。对于后者，如果该页面需要 JavaScript 才能工作，那么您将不得不使用 headless 浏览器。

如果没有，您至少有两个选择:

1. 查看浏览器开发者工具中的“网络”选项卡，看看是否可以使用 requests 或 urllib2 重新创建所需页面的请求
2. 使用mechanize ，它是专门为处理不依赖 JavaScript 的网站上的表单而构建的

mechanize 如果没有 CSRF token 或类似机制，工作量会多一些(不过，如果需要 JavaScript，它会失败)，如果有，工作量会少一些。