python - 找不到记录器 "bs4.dammit"的处理程序

Question

我使用 BeautifulSoup 库编写了一个小型链接挖掘器。但是我看到有一些链接没有处理。所以我测试了其中一个主题:

result = requests.get('https://domain.ir/PATH_TO_FILE/optics-program-msc.pdf')
soup = BeautifulSoup(result.content,'html.parser')
f2.write('{"counter":'+str(i)+', "id": "'+a['href']+'", "group":'+str(counter)+", \"children\":"+str(len(soup.find_all('a',href=True)))+"},\n")

我知道 html.parser 无法处理所有链接，所以我给出了这个错误

No handlers could be found for logger "bs4.dammit"

所以链接没有写在文件中。但是有些链接我不知道应该使用哪个解析器。像 .pdf,.zip,...。那我该怎么办呢？

Answer 1

• 首先:你应该使用result.text，因为它已经是unicode字符串(而不是content中的字节)
• 要检查的第二件事:它是否真的解析了带有链接的 HTML“汤”？通过放置一个简单的 if soup.body:
• 第三个:bs4.dummit 警告说检测编码有问题，所以尝试添加更多相关信息:BeautifulSoup(result.content, 'html.parser', from_encoding ="windows-1259")
• 另一个:尝试使用 lxml 而不是 html.parser