python - 如何获取谷歌 "fast answer box"文本？

Question

我正在尝试获取谷歌“快速回答框”文本。我所说的“快速回答框”的含义在访问屏幕截图时应该很清楚:

如果您输入搜索并且谷歌知道答案，谷歌就会显示此框。因此，您无需打开下面显示的链接之一。如果您输入以下查询，则会显示该框:

https://google.de/search?q=definition%20calcium

现在我想通过 python 脚本阅读这段文本。我编写了一个使用 requests 和 beautiful soup 来实现此目的的方法:

def execute(self):
    response = requests.get(url='https://google.de/search?q=definition%20calcium', proxies=self._proxy)
    soup = BeautifulSoup(response.content, 'html.parser')
    return soup.find_all("ol", class_="lr_dct_sf_sens")

该方法总是返回[]，这意味着一个空列表。但如果我使用 chrome 控制台，我可以准确地找到这个术语:

所以我不明白为什么找不到这个。为了进行测试，我将 requests.get 中的全部内容写入一个文件中:

file = open('C:\\Users\\me\\Desktop\\test.txt', 'w')
file.write(response.text)
file.close()

尝试用记事本搜索该文件，但我也无法在那里搜索模式。不确定 response.text 是否删除了一些细节。

有人可以给我解释一下吗？我怎样才能得到这段文字？

Answer 1

如果您在加载该页面时仔细观察网络请求，您会发现 Google 会启动另一个包含您的数据的链接。

请尝试在您的浏览器中访问此内容:

https://www.google.com/search?q=definition:+calcium&bav=on.2,or.r_cp.&cad=b&fp=1&biw=1920&bih=984&dpr=1&tch=1&ech=1&psi=1489578048971.3

它将下载一个包含您的 fastbox 数据的文件。您可以在该文件中搜索原子序数的化学元素来验证这一点。

您必须清理文件并抓取所需的数据。