c# - 什么样的网络主机可以让你在上面运行爬虫？

Question

我正在为我的一门大学类(class)做毕业设计，我需要找个地方来运行我用 C# 编写的几个爬虫。没有网络托管经验，我有点迷茫。这是任何网站都允许的吗？我是否需要一个特殊的主机来提供对服务器的更多访问权限？爬虫是一个简单的应用程序，它完成自己的工作，然后定期将信息写入远程数据库。

Answer 1

网络爬虫是对普通用户的模拟。它像浏览器一样访问站点，获取从服务器返回的 html 代码(javascript 等)(因此无法内部访问服务器代码)。因此，任何网站都可以被抓取。

注意一些 web crawler ethics guidelines .有些页面你不应该索引或点击它的链接。网络开发人员会为网络爬虫构建一些文件和说明，说明您可以索引或关注的内容。