python - bs4 返回变量名称但不返回内容

Question

我正在尝试使用 bs4 来检索来自 the metropolitan 的图像的网络链接。

url = 'http://www.metmuseum.org/art/collection#!?material=Canvas&showOnly=onDisplay&offset=1780&pageSize=0&sortBy=Relevance&sortOrder=asc&perPage=20'
soup =BeautifulSoup(urlopen(url).read().decode(),'html5lib').encode()

在原始网页上，我想要的数据是这样的，其中包含我想要的链接。

<figure class="card__standard-image">
        <a href="/art/collection/search/459087?sortBy=Relevance&amp;amp;what=Oil+paintings%7cPaintings&amp;amp;od=on&amp;amp;ft=*&amp;amp;offset=0&amp;amp;rpp=20&amp;amp;pos=1">

bs4返回的数据如下所示:

<figure class="card__standard-image">\n        <a href="{{ card.url }}">

在我看来，该链接已被 card.url 替换，但我不知道如何访问卡中存储的值。

我尝试过不同的解析器，但无济于事。

Answer 1

你需要的数据是通过JavaScript获取的，读取的数据在这个URL中:

http://www.metmuseum.org/api/collection/collectionlisting?artist=&department=&era=&geolocation=&material=Canvas&offset=0&pageSize=0&perPage=20&showOnly=onDisplay&sortBy=Relevance&sortOrder=asc