python - Selenium:从 Python 中的 <script type> 标签获取变量数据

Question

因此，我正在尝试使用 selenium 从网站上抓取数据，因为对 selenium 和网络抓取仍然很陌生，我被卡住了。我想抓取一些存在于 <script type> 标签下的数据，该标签如下所示:

...
...

<script type="text/javascript">
  var myData_1 = {"name" : ..... };
  var myData_2 = {......};
  var myData_id = 4565843;
  var myData_mapping = {.....};
</script>

...
...

所以我需要抓取这个脚本标签中存在的数据，即所有 var 数据值。到目前为止，我只编码了这么多:

from selenium import webdriver
import pandas as pd

driver = webdriver.Chrome('/home/slothfulwave612/chromedriver_linux64/chromedriver')

driver.get('https://www.example.com') ## not the actual site

html = driver.page_source

print(html)

driver.close()

这只是打印网站的源代码，我应该在这里添加什么，以便我可以从 <script type 标签中抓取数据。有人可以帮忙吗？

Answer 1

使用方法.find_element_by_xpath() ( docs )

script_label = driver.find_element_by_xpath("//script[@type = 'text/javascript']")

然后你可以刮掉内部元素。