python - 获取首次发表的年份 Google Scholar

Question

我正在使用 bs4 和 urllib 从 Google Scholar 抓取数据。我正在努力获得一篇文章发表的第一年。例如，来自this page我试图获取 1996 年。这可以从条形图中读取，但只能在单击条形图之后读取。我编写了以下代码，但它打印出单击条形图之前可见的年份。

from bs4 import BeautifulSoup
import urllib.request

url = 'https://scholar.google.com/citations?user=VGoSakQAAAAJ'
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, 'lxml')
year = soup.find('span', {"class": "gsc_g_t"})
print (year)

Answer 1

图表信息是根据不同的请求，this one 。在那里你可以通过以下 xpath 获取你想要的信息:

'//span[@class="gsc_g_t"][1]/text()'

或在汤中:

soup.find('span', {"class": "gsc_g_t"}).text