python - 在 Python 中解析 Javascript

Question

我通常使用 Beautiful Soup 来解析我需要的 html，但我遇到了一些我想从 here 获得的 Javascript .

 <script>
function Model(){
    this.players = [{".....data......:""}];...etc

我试着加载它...

import json
scrape_url = "https://swishanalytics.com/optimus/nba/daily-fantasy-projections?date=2016-12-15"

result = json.loads(scrape_url)

但我得到“无法解码 Json”。不确定该怎么做。

Answer 1

您可以使用 jsonfinder 从任意文本中提取 JSON图书馆:

from jsonfinder import jsonfinder
import requests

scrape_url = "https://swishanalytics.com/optimus/nba/daily-fantasy-projections?date=2016-12-15"
content = requests.get(scrape_url).text
for _, __, obj in jsonfinder(content, json_only=True):
    if (obj and
            isinstance(obj, list) and
            isinstance(obj[0], dict) and
            {'player_id', 'event_id', 'name'}.issubset(obj[0])
            ):
        break
else:
    raise ValueError('data not found')

# Now you can use obj
print(len(obj))
print(obj[0])