python - 如何抓取付费专区后面的网站

Question

关闭。此题需要 details or clarity 。目前不接受答案。

---

想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题.

已关闭 9 年前。

Improve this question

我想抓取本地报纸的新闻文章。文件位于付费墙后面，并且我有一个付费帐户，我将如何自动输入我的凭据？

Answer 1

使用 Scrapy(参见 Tutorial )使用 FormRequest 通过 HTTP POST 发送数据(参见 Example )

# Install scrapy : pip install Scrapy
# Create structure with : scrapy startproject my_project
# Create ./my_project/spiders/my_spider.py
#   use something like this inside my_spider.py:

class LoginSpider(Spider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']

def parse(self, response):
    return [FormRequest.from_response(response,
                formdata={'username': 'john', 'password': 'secret'},
                callback=self.after_login)]

def after_login(self, response):
    # check login succeed before going on
    if "authentication failed" in response.body:
        self.log("Login failed", level=log.ERROR)
        return

    # continue scraping with authenticated session...