python - BeautifulSoup 找不到任何 标签

Question

我想在这里抓取网站:ftp://ftp.sec.gov/edgar/daily-index/ .使用如下所示的代码:

from bs4 import BeautifulSoup  
import urllib.request
html = urllib.request.urlopen("ftp://ftp.sec.gov/edgar/daily-index/")
soup = BeautifulSoup(line, "lxml")
soup.a # or soup.find_all('a') neither of them works
#return None.

请帮忙，我真的很沮丧。我怀疑是标签导致了问题。该网站的 Html 看起来格式正确(匹配的标签)，所以我不明白为什么 BeautifulSoup 找不到任何东西。谢谢

Answer 1

ftp://ftp.sec.gov/edgar/daily-index/ URL 指向 FTP 目录，而不是 HTML 页面。

您的浏览器可以根据 FTP 目录内容生成 HTML，但是当您使用 urllib.request 加载该资源时，服务器不会向您发送 HTML。

您可能想使用 ftplib module直接读取目录列表，或者先检查 urlopen(...).read() 的返回值。