python - 如何获取href中的链接？

Question

我正在构建一个机器人，并将从下面的 twitter.com 的 html 中获取 href 部分，即 /VegSpringRoll/status/1205121838302420993，

<a class="css-4rbku5 css-18t94o4 css-901oao r-1re7ezh r-1loqt21 r-1q142lx r-1qd0xha r-a023e6 r-16dba41 r-ad9z0x r-bcqeeo r-3s2u2q r-qvutc0" title="9:46 PM · Dec 12, 2019" href="/VegSpringRoll/status/1205121838302420993" dir="auto" aria-label="Dec 12" role="link" data-focusable="true"</a>

我的脚本是:

class TwitterBot:
def __init__(self, username, password):
    self.username = username
    self.password = password
    self.bot = webdriver.Firefox()


def login(self):
    bot = self.bot
    bot.get('https://twitter.com/login')
    time.sleep(1)
    email = bot.find_element_by_class_name('js-username-field.email-input.js-initial-focus')
    password = bot.find_element_by_class_name('js-password-field')
    email.clear()
    password.clear()
    email.send_keys(self.username)
    password.send_keys(self.password)
    password.send_keys(Keys.RETURN)
    time.sleep()

def like_tweet(self,hashtag):
    bot = self.bot
    bot.get('https://twitter.com/search?q=%23' + hashtag + '&src=type')
    time.sleep(1)
    for i in range(1,10):
        bot.execute_script('window.scrollTo(0,document.body.scrollHeight)')# this scroll 1 time only.
        time.sleep(1)

        tweets = bot.find_elements_by_class_name('css-4rbku5 css-18t94o4 css-901oao r-1re7ezh r-1loqt21 r-1q142lx r-1qd0xha r-a023e6 r-16dba41 r-ad9z0x r-bcqeeo r-3s2u2q r-qvutc0')
        links = [elem.get_attribute('href') for elem in tweets]
        print(links)

在推文部分之前一切正常。

但没有打印任何内容。有人愿意帮忙吗？

Answer 1

不允许使用 Selenium 复合类名，您必须使用 css 选择器或 xpath。以下代码应该可以工作

tweets = bot.find_elements_by_css_selector('.css-4rbku5.css-18t94o4.css-901oao.r-1re7ezh.r-1loqt21.r-1q142lx.r-1qd0xha.r-a023e6.r-16dba41.r-ad9z0x.r-bcqeeo.r-3s2u2q.r-qvutc0')
links = [elem.get_attribute('href') for elem in tweets]
print(links)

请阅读此discussion获取更多信息。