python - find_all 具有多个属性

Question

我想找到页面上的所有链接，此代码仅获取以http://开头的链接，但大多数链接都是https:// 我如何编辑下面的代码来找到两者？

for link in soup.find_all('a',attrs={'href':re.compile("^http://")}):

import requests,bs4,re
res=requests.get('https://www.nytimes.com/2018/11/21/nyregion/president-trump-immigration-law-firms.html?action=click&module=Top%20Stories&pgtype=Homepage')
soup=bs4.BeautifulSoup(res.text,'html.parser')
x=[]
y=[]
z=[]
for link in soup.find_all('a',attrs={'href':re.compile("^http://")}):
    print(link.get('href'))
    x=link.get('href')

我知道我可以简单地获取所有链接，但我想在一个 find_all< 中同时获取 http:// 和 https:///

for i in soup.select('a'):
    print(i.get('href'))

Answer 1

您可以使用此正则表达式来匹配 http 或 https:

^(http|https)://.*

正则表达式(a|b)表示:匹配模式a或b。