python - urllib2.urlopen() 缓存东西吗？

Question

他们没有在 python 文档中提到这一点。最近我正在测试一个网站，只是使用 urllib2.urlopen() 刷新网站以提取某些内容，有时我注意到当我更新网站时 urllib2.urlopen() 似乎没有获得新添加的内容。所以我想知道它确实在某处缓存了东西，对吧？

Answer 1

So I wonder it does cache stuff somewhere, right?

事实并非如此。

如果您没有看到新数据，可能有多种原因。出于性能原因，大多数较大的 Web 服务都使用服务器端缓存，例如使用 Varnish 和 Squid 等缓存代理或应用程序级缓存。

如果问题是由服务器端缓存引起的，通常没有办法强制服务器给你最新的数据。

---

对于像 squid 这样的缓存代理，情况就不同了。通常，squid 会向 HTTP 响应添加一些额外的 header (response().info().headers)。

如果您看到名为 X-Cache 或 X-Cache-Lookup 的 header 字段，这意味着您没有直接连接到远程服务器，而是通过透明代理。

如果你有这样的东西:X-Cache: HIT from proxy.domain.tld，这意味着你得到的响应被缓存了。相反的是 X-Cache MISS from proxy.domain.tld，这意味着响应是新鲜的。