python - 抓取 API - "Platform source was missing"

Question

我正在尝试抓取http://www.carwale.com/used/cars-in-mumbai/前 20 辆汽车及其数据采用 html 格式，很容易被抓取。我被困在 21+ 的汽车上——它们是 JSON。另外 20 辆汽车的每个新页面的 URL 格式为“http://www.carwale.com/webapi/classified/stockfilters/?city=1&kms=0-&year=0-&budget=0-&pn=2”，pn 迭代增加。

我试过:

i = 2  
while i in range(totalcars/20+1):
    link = 'http://www.carwale.com/webapi/classified/stockfilters/?city=2&kms=0-&year=0-&budget=0-&pn='+str(i)
    response = urllib2.urlopen(link)
    data = json.load(response)   
    print data
    i += 1  

“HTTPError: HTTP Error 400: Bad Request”是响应

手动尝试此链接会返回“平台源丢失”

“http://www.carwale.com/webapi/”返回“403 - 禁止:访问被拒绝。”

访问这些数据的最Pythonic和最有效的方法是什么？

Answer 1

您必须添加此 header ，它对我有用。

{"sourceid":"1"}