python - Mars 2020 网络抓取

Question

我正在尝试从“坚持不懈的火星天气报告”(https://mars.nasa.gov/mars2020/weather/)中抓取数据。但是当我尝试抓取例如火星日期时，它会在列表中返回一个无项目。像这样:

import requests
from bs4 import BeautifulSoup as soup

html = requests.get('https://mars.nasa.gov/mars2020/weather/')
html.status_code

marsDat= []

for date in bsobj.findAll('span', {'class':'marsDate'}):
    marsDat.append(date.text.strip())
    
print(marsDat)
#returns: ['']

有人可以给我提示吗？发生这种情况是因为我们无法在此站点上进行网络抓取？

Answer 1

您看到的数据是从外部 URL 加载的。要打印当前的火星日期，您可以执行以下操作:

import json
import requests

url = "https://mars.nasa.gov/rss/api/?feed=weather&category=mars2020&feedtype=json"
data = requests.get(url).json()

# uncomment to print all data:
# print(json.dumps(data, indent=4))

max_sol = max(data["sols"], key=lambda k: int(k["sol"]))
print(max_sol["sol"])

打印:

62