python - 无法从网页中获取 Twitter 链接

Question

我用 python 创建了一个脚本来获取玩家 Twitter 帐户的链接。问题是 Twitter 链接位于 iframe 内。我可以使用 Selenium 来解析它。但是，我想知道是否有任何替代方法可以使用 requests 模块(利用脚本标记或其他内容)来解析链接。

website link

如果您滚动该网站，您可以看到位于右侧区域的 Twitter 链接，如下图所示:

我尝试过:

import requests
from bs4 import BeautifulSoup

link = "https://247sports.com/Player/JT-Tuimoloau-46048440/"

def get_links(link):
    res = requests.get(link,headers={"User-Agent":"Mozilla/5.0"})
    soup = BeautifulSoup(res.text,"lxml")
    twitter = soup.select_one("a.customisable-highlight").get('href')
    print(twitter)

if __name__ == '__main__':
    get_links(link)

Answer 1

我不知道如何实际获取 iframe，但也许还有另一种方法可以让您获取 Twitter 名称(然后创建指向此 Twitter 帐户的链接)。

您需要的信息似乎隐藏在带有 class="tweets-comp" 的 div 标记中。如果提取属性 data-username 的值，您最终应该得到 Twitter 帐户的名称:

import requests
from bs4 import BeautifulSoup

link = "https://247sports.com/Player/JT-Tuimoloau-46048440/"

res = requests.get(link,headers={"User-Agent":"Mozilla/5.0"})
soup = BeautifulSoup(res.text,"html.parser")

div = soup.find('div', {'class':'tweets-comp'})
print(div['data-username'])
# JT_tuimoloau