python - 网络抓取 vaadin python

Question

我正在尝试使用 python 抓取使用 vaadin 创建的网站。这是我使用的代码:

requests.get('http://rnb.osim.ro/?pn=').text

但这是不包含任何有用信息的结果:

    <noscript>
    You have to enable javascript in your browser to use an application built with Vaadin.
   </noscript>
  </div>
  <script type="text/javascript" src="./VAADIN/vaadinBootstrap.js"></script>
  <script type="text/javascript">//<!

您知道如何从 vaadin 站点获取我需要的数据吗？

Answer 1

发生这种情况是因为 requests 无法真正执行网站内的 JavaScript。正如您所想，requests 只是一个请求，而不是一个可以处理 JS 并与前端框架(即 Angular、React、Ajax)配合使用的浏览器。要抓取这个现代而强大的网站，我个人建议使用 scrapy 库。它专为抓取而设计，可以稍微处理 JavaScript。即使不能，您仍然可以使用 selenium 网络驱动程序 来完全模拟浏览器。