python - 如何使用 Python 3 构建网络爬虫？

Question

我一直在观看 thenewboston 的 3 个关于如何制作网络爬虫的视频。似乎它们已经过时并且链接不存在。如果有人能完成本教程的第一部分，我将不胜感激。这就是我所知道的。我尝试了不同的网站，但无济于事。

import requests
from bs4 import BeautifulSoup

def my_spider(max_pages):
    page = 1
    while page <= max_pages:
        url = """Here I tried different websites""" + str(page)
        source_code = requests.get(url)
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text)
        for link in soup.findALL("a", {"class" : "item-name"}):
            href = """example site like following: https://example.com""" + link.get("href")
            print(href)
        page += 1

print(my_spider(2))

例如，使用此代码我想抓取网站以获取标题链接或类似内容。

仅供引用，这是视频。 https://www.youtube.com/watch?v=sVNJOiTBi_8&list=PL6gx4Cwl9DGAcbMi1sH6oAMk4JHw91mC_&index=26

是教程25-27

提前致谢!

Answer 1

有用于网络抓取的 python 3 库，但没有一个像 python 2 库 Scrapy 一样流行，

一些可用的 python 3 Web Scrapers/Crawler:1-排场2- Pholcidae3- pyburrow

我自己没用过，但你可以查看他们的网站或 github 上的源代码，以更好地了解你如何使用它们