c# - 通过 Web 服务 API 的 Web Scraper？

Question

我将如何着手做以下...

我想为我的应用程序构建一个 Web 服务，以从外部网站获取一段数据，这需要用户登录。该网站没有公共(public) API，因此是爬虫的原因。

是否有执行以下功能的库？或者我该怎么办？

• 自动填写表单，自动点击
• 自动提交按钮
• 检查用户访问的 URL打开，并将用户重定向到 URL
• 从标签中获取数据。

编辑:我要求的是有网络服务、库等，以便更轻松地执行屏幕抓取/自动化功能吗？？？

Answer 1

您应该查看表单的来源，并弄清楚数据是如何提交的，而不是填写表单和点击按钮。在大多数情况下，您可以简单地发送带有登录数据的发布请求。如果除了简单的发布请求之外还有什么特别的，我使用 this addon弄清楚正在执行哪些您看不到的请求。如果使用 C#，我会使用 HttpWebRequest 类，因为它会为您处理 cookie。