python - Beautifulsoup 网页抓取。

Question

我正在尝试从 DnDbeyond 抓取数据。我正在使用 Beautifulsoup 和 python，并且已经能够通过使用“Div”标签和“Find_all”类来获取我需要的一些信息，但我似乎无法从这些包含字符统计信息的格式化 block 中找到信息。

<div class="ct-skills__col--skill">Animal Handling</div>

我应该能够搜索 soup.find("div", {"class": "ct-skills__col--skill"})

对吗？

这就是我当前的代码的样子。

from bs4 import BeautifulSoup
import requests

resp = requests.get('https://www.dndbeyond.com/characters/4741434')
soup = BeautifulSoup(resp.text, 'lxml')

divTag = soup.find_all("div", {"class": "container"})

这让我很感动

[<div class="container">
<div class="main content-container" id="content">
<section class="primary-content" role="main">
<div data-character-endpoint="/character/4741434/json" data-character-id="4741434" data-read-only="true" id="character-sheet-target"></div>
<script src="/Content/1-0-482-0/React/CharacterTools/dist/characterSheet.bundle.min.js" type="text/javascript"></script>
</section>
</div>
</div>]

我知道我的信息位于“character-sheet-target”下，但我不知道如何获取那里的信息/类。

抱歉，如果这有点胡言乱语，我不知道如何解释清楚。

Answer 1

你可以使用他们的json api，不需要selenium，请参阅下面的代码。

import requests
req = requests.get('https://www.dndbeyond.com/character/4741434/json')
print req.json()