http - 关于 URL 的可用性是否有任何安全的假设？

Question

我正在尝试确定是否有一种方法可以检查可能很大的 url 列表(> 1000000)的可用性，而不必向每个 url 发送 GET 请求。

假设如果 http://www.example.com 是否安全？无法访问(如无法连接到服务器或域的 DNS 请求失败)，或者我收到 4XX 或 5XX 响应，那么来自该域的任何内容也将无法访问(例如 http://www.example.com/some/path/to/a/resource/named/whatever.jpg )？ 302 响应(比如 whatever.jpg)是否足以使第一个假设无效？我想子域应该被视为不同的 http://subdomain.example.com和 http://www.example.com可能不指向同一个ip？

我似乎能够为我想出的每个快捷方式想出一个反例。我是否应该硬着头皮向每个 URL 发送 GET 请求？

Answer 1

不幸的是，不，你不能从 4xx 或 5xx 或任何其他代码中推断出任何东西。

这些代码是针对单个页面的，而不是针对服务器的。很可能一个页面已关闭而另一个页面已打开，或者一个有 500 服务器端错误而另一个没有。

你可以做的是使用 HEAD 而不是 GET。这会检索页面的 MIME header ，但不会检索页面内容。这可以节省服务器端(因为它不必呈现页面)和您自己(因为您不必缓冲然后丢弃内容)的时间。

我还建议您使用keep-alive 来加速来自同一服务器的响应。许多 HTTP 客户端库会为您做这件事。