python - 为什么我从 BeautifulSoup 获得的 HTML 与我检查元素时看到的 HTML 不同？

Question

我正在制作一个用户名抓取工具，我真的不明白为什么在我解析它时 HTML 会“消失”。我们以这个网站为例: http://www.lolking.net/leaderboards#/eune/1

看看里面怎么会有一个tbody和一堆表？好吧，当我解析它并将它输出到 shell 时，tbody 是空的

   <div style="background: #333; box-shadow: 0 0 2px #000; padding: 10px;">
    <table class="lktable" id="leaderboard_table" width="100%">
     <thead>
      <tr>
       <th style="width: 80px;">
        Rank
       </th>
       <th style="width: 80px;">
        Change
       </th>
       <th style="width: 100px;">
        Tier
       </th>
       <th>
        Summoner
       </th>
       <th style="width: 150px;">
        Top Champions
       </th>
      </tr>
     </thead>
     <tbody>
     </tbody>
    </table>
   </div>
  </div>

为什么会发生这种情况，我该如何解决？

Answer 1

此站点需要 JavaScript 才能运行。 JavaScript 用于通过形成 Web 请求来填充表格，该请求可能指向后端 API。这意味着没有任何 JavaScript 影响的“原始”HTML 有一个空表。

如果我们在禁用 JavaScript 的情况下访问该站点，我们实际上可以在后台看到这个空表:

BeautifulSoup 不会导致此 JavaScript 执行。相反，看看一些替代库，例如更高级的 Selenium .