python - 获取 URL 时如何删除 Google App Engine 默认 header ？

Question

我正在尝试在 GAE 上构建一个小应用程序来帮助我管理我感兴趣的 craigslist 列表。我想从我的应用程序中获取这些列表中的一些数据，但每次我这样做都会得到 404来自克雷格列表。

经过一番调查后发现我的代码不是罪魁祸首:craigslist 查看 HTTP header 并在 User-Agent header 中找到“AppEngine-Google”时系统地返回 404!

你可以用 curl 看到:

curl http://sfbay.craigslist.org/

有效(返回页面)。

curl http://sfbay.craigslist.org/ --header "User-Agent: AppEngine-Google"

什么都不给。

知道如何删除 GAE 默认设置的 header 吗？或者解决这个问题的其他想法？

Answer 1

无法阻止 App Engine 在发出传出请求时识别自己。这是为了防止滥用。

如果 Craigslist 选择将 App Engine 列入黑名单，您需要与他们讨论此事，而不是试图逃避。