python - urllib访问html比浏览器慢

Question

以下 python 脚本在我的 PC 上需要 3 秒才能加载 Twitter 页面的源代码，这比检索其他网站(如 youtube)的源代码所需的时间要长得多。当我在浏览器中加载相同的 Twitter 页面时，谷歌浏览器中的“网络”选项卡告诉我 html 在 0.3 秒内检索。

为什么 urllib 比我的浏览器慢那么多？

import urllib2
import time

start=time.time()
channel='pontifex'
url="https://twitter.com/"+channel
page = urllib2.urlopen(url).read()
print str(round(time.time()-start,0))+" secs total"

Answer 1

缓存就是答案，它通常由浏览器完成，以减少经常访问的站点的加载时间。如果不是浏览器，那么谷歌等搜索引擎也会缓存经常访问的网站，以便检索它们只是几毫秒的事情

查看这篇文章: How can Google be so fast?