python - 如何爬行 arxiv 理智？

Question

我想要抓取“链接”、“标题”和“摘要”

我怎样才能抓取这个？

我试过了

import requests
import json

url = 'http://www.arxiv-sanity.com/top?timefilter=year&vfilter=all'
res = requests.get(url)
text = res.text
# print(text)

d = json.loads(text)
print(d['title'], d['link'], d['abstract'])

但是SONDecodeError:期望值:第1行第1列(字符0)发生

Answer 1

该 URL 返回 HTML，而不是 json 响应。所以你无法对其进行 JSON 解码。