python - 使用 python 3 抓取 Json-6ren

python - 使用 python 3 抓取 Json

转载作者：行者123 更新时间：2023-12-01 09:27:03

这是脚本:

from bs4 import BeautifulSoup as bs4
import requests
import json
from lxml import html
from pprint import pprint

import re


def get_data():

    url = 'https://sports.bovada.lv//baseball/mlb/game-lines-market-group'
    r = requests.get(url, headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.103 Safari/537.36"})
    html_bytes = r.text
    soup = bs4(html_bytes, 'lxml')

    # res = soup.findAll('script') # find all scripts..

    pattern = re.compile(r"swc_market_lists\s+=\s+(\{.*?\})")
    script = soup.find("script", text=pattern)

    return script.text[23:]

test1 = get_data()

data = json.loads(test1)


for item1 in data['items']:
    data1 = item1['itemList']['items']
    for item2 in data1:
        pitch_a = item2['opponentAName']
        pitch_b = item2['opponentBName']
##            group = item2['displayGroups']
##            for item3 in group:
##                new_il = item3['itemList']
##                for item4 in new_il:
##                    market = item4['description']                  
##                    oc = item4['outcomes']
        print(pitch_a,pitch_b)


##for items in data['items']:
##    pos = items['itemList']['items']
##    for item in pos:
##        work = item['competitors']
##        pitcher_a = item['opponentAName']
##        pitcher_b = item['opponentBName']
##        group = item['displayGroups']
##        for item, item2 in zip(work,group):
##            team = item['abbreviation']
##            place = item['type']
##            il2 = item2['itemList']
##            for item in il2:
##                ml = item['description']

##            print(team,place,pitcher_a,pitcher_b,ml)

我一直在努力抓取

团队缩写 = ['items']['itemList']['items']['competitors']['abbreviation']

home_away = ['items']['itemList']['items']['competitors']['type']

球队投手主页 = ['items']['itemList']['items']['opponentAName']

球队投手离开 = ['items']['itemList']['items']['opponentBName']

美国赔率赔率 = ['items']['itemList']['items']['displayGroups']['itemList']['outcomes']['price ']['美国']

总运行次数 = ['items']['itemList']['items']['displayGroups']['itemList']['outcomes']['price' ]['障碍']

部分Json pprinted:

[{'baseLink': '/baseball/mlb/game-lines-market-group',
  'defaultType': True,
  'description': 'Game Lines',
  'id': '136',
  'itemList': {'items': [{'LIVE': True,
                          'atmosphereLink': '/api/atmosphere/eventNotification/events/A/3149961',
                          'awayTeamFirst': True,
                          'baseLink': '/baseball/mlb/minnesota-twins-los-angeles-angels-201805112207',
                          'competitionId': '24736',
                          'competitors': [{'abbreviation': 'LAA',
                                           'description': 'Los Angeles Angels',
                                           'id': '3149961-1642',
                                           'rotationNumber': '978',
                                           'shortName': 'Angels',
                                           'type': 'HOME'},
                                          {'abbreviation': 'MIN',
                                           'description': 'Minnesota Twins',
                                           'id': '3149961-9990',
                                           'rotationNumber': '977',
                                           'shortName': 'Twins',
                                           'type': 'AWAY'}],
                          'denySameGame': 'NO',
                          'description': 'Minnesota Twins @ Los Angeles Angels',
                          'displayGroups': [{'baseLink': '/baseball/mlb/game-lines-market-group',
                                             'defaultType': True,
                                             'description': 'Game Lines',
                                             'id': '136',
                                             'itemList': [{'belongsToDefault': True,
                                                           'columns': 'H2Columns',
                                                           'description': 'Moneyline',
                                                           'displayGroups': '136,A-136',
                                                           'id': '46892277',
                                                           'isInRunning': True,
                                                           'mainMarketType': 'MONEYLINE',
                                                           'mainPeriod': True,
                                                           'marketTypeGroup': 'MONEY_LINE',
                                                           'notes': '',
                                                           'outcomes': [{'competitorId': '3149961-9990',
                                                                         'description': 'Minnesota '
                                                                                        'Twins',
                                                                         'id': '211933276',
                                                                         'price': {'american': '-475',
                                                                                   'decimal': '1.210526',
                                                                                   'fractional': '4/19',
                                                                                   'id': '1033002124',
                                                                                   'outcomeId': '211933276'},
                                                                         'status': 'OPEN',
                                                                         'type': 'A'},
                                                                        {'competitorId': '3149961-1642',
                                                                         'description': 'Los '
                                                                                        'Angeles '
                                                                                        'Angels',
                                                                         'id': '211933277',
                                                                         'price': {'american': '+310',
                                                                                   'decimal': '4.100',
                                                                                   'fractional': '31/10',
                                                                                   'id': '1033005679',
                                                                                   'outcomeId': '211933277'},
                                                                         'status': 'OPEN',
                                                                         'type': 'H'}],
                                                           'periodType': 'Live '
                                                                         'Match',
                                                           'sequence': '14',
                                                           'sportCode': 'BASE',
                                                           'status': 'OPEN',
                                                           'type': 'WW'},
                                                          {'belongsToDefault': True,
                                                           'columns': 'H2Columns',
                                                           'description': 'Runline',
                                                           'displayGroups': '136,A-136',
                                                           'id': '46892287',
                                                           'isInRunning': True,
                                                           'mainMarketType': 'SPREAD',
                                                           'mainPeriod': True,
                                                           'marketTypeGroup': 'SPREAD',
                                                           'notes': '',
                                                           'outcomes': [{'competitorId': '3149961-9990',
                                                                         'description': 'Minnesota '
                                                                                        'Twins',
                                                                         'id': '211933278',
                                                                         'price': {'american': '+800',
                                                                                   'decimal': '9.00',
                                                                                   'fractional': '8/1',
                                                                                   'handicap': '-1.5',
                                                                                   'id': '1033005677',
                                                                                   'outcomeId': '211933278'},
                                                                         'status': 'OPEN',
                                                                         'type': 'A'},
                                                                        {'competitorId': '3149961-1642',
                                                                         'description': 'Los '
                                                                                        'Angeles '
                                                                                        'Angels',
                                                                         'id': '211933279',
                                                                         'price': {'american': '-2000',
                                                                                   'decimal': '1.050',
                                                                                   'fractional': '1/20',
                                                                                   'handicap': '1.5',
                                                                                   'id': '1033005678',
                                                                                   'outcomeId': '211933279'},
                                                                         'status': 'OPEN',
                                                                         'type': 'H'}],
                                                           'periodType': 'Live '
                                                                         'Match',
                                                           'sequence': '14',
                                                           'sportCode': 'BASE',
                                                           'status': 'OPEN',
                                                           'type': 'SPR'}],
                                             'link': '/baseball/mlb/game-lines-market-group'}],
                          'feedCode': '13625145',
                          'id': '3149961',
                          'link': '/baseball/mlb/minnesota-twins-los-angeles-angels-201805112207',
                          'notes': '',
                          'numMarkets': 2,
                          'opponentAId': '214704',
                          'opponentAName': 'Tyler Skaggs (L)',
                          'opponentBId': '215550',
                          'opponentBName': 'Lance Lynn (R)',
                          'sport': 'BASE',
                          'startTime': 1526090820000,
                          'status': 'O',
                          'type': 'MLB'},

我在上面的脚本中启动了几个不同的循环，但它们中的任何一个都按照我想要的方式工作。

客队|客钱线|客场投手 |总运行次数 |我最终希望主队重复这一点。一旦以正确的方式解析了 csv，我就可以写入它。

感谢您的新视角，我花了一天的大部分时间来研究这个问题，试图找出访问我想要的内容的最佳方式。如果 Json 不是最好的方法，而 bs4 效果更好，我很想听听您的意见

最佳答案

您的问题没有简单的答案。抓取数据需要您仔细评估您正在处理的数据，找出您想要提取的部分所在的位置，并弄清楚如何有效地存储您提取的数据。

尝试打印循环中的数据以可视化代码中发生的情况(或尝试调试)。如果您迭代您的期望，从那里很容易找出它。在整个输入数据中查找模式，以帮助组织您提取的数据。

为了帮助自己，您应该为变量提供描述性名称，将代码分成逻辑 block ，并在代码开始变得复杂时添加注释。

这里有一些工作代码，但我鼓励您尝试我上面告诉您的内容，如果您仍然遇到困难，请查看下面的指导。

output = {}
root = data['items'][0]

for game_line in root['itemList']['items']:
    # Create a temporary dict to store the data for this gameline
    team_data = {}

    # Get competitors
    competitors = game_line['competitors']
    for team in competitors:
        team_type = team['type'] # either HOME or AWAY
        # Create a new dict to store data for each team 
        team_data[team_type] = {}
        team_data[team_type]['abbreviation'] = team['abbreviation']
        team_data[team_type]['name'] = team['description']


    # Get MoneyLine and Total Runs
    for item in game_line['displayGroups'][0]['itemList']:
        for outcome in item['outcomes']:
            team_type = outcome['type'] # either A or H
            team_type = 'HOME' if team_type == 'H' else 'AWAY'

            if item['mainMarketType'] == 'MONEYLINE':
                team_data[team_type]['moneyline'] = outcome['price']['american']
            elif item['mainMarketType'] == 'SPREAD':
                team_data[team_type]['total runs'] = outcome['price']['handicap']

    # Get the pitchers
    team_data['HOME']['pitcher'] = game_line['opponentAName']
    team_data['AWAY']['pitcher'] = game_line['opponentBName']

    # For each gameline, add the teamdata we gathered to the output dict
    output[game_line['description']] = team_data

这会产生类似:

{
  'Atlanta Braves @ Miami Marlins': {
    'AWAY': {
      'abbreviation': 'ATL',
      'moneyline': '-130',
      'name': 'Atlanta Braves',
      'pitcher': 'Mike Soroka (R)',
      'total runs': '-1.5'
    },
    'HOME': {
      'abbreviation': 'MIA',
      'moneyline': '+110',
      'name': 'Miami Marlins',
      'pitcher': 'Jarlin Garcia (L)',
      'total runs': '1.5'
    }
  },
  'Boston Red Sox @ Toronto Blue Jays': {
    'AWAY': {
      'abbreviation': 'BOS',
      'moneyline': '-133',
      'name': 'Boston Red Sox',
      'pitcher': 'David Price (L)',
      'total runs': '-1.5'
    },
    'HOME': {
      'abbreviation': 'TOR',
      'moneyline': '+113',
      'name': 'Toronto Blue Jays',
      'pitcher': 'Marco Estrada (R)',
      'total runs': '1.5'
    }
  },

}

关于python - 使用 python 3 抓取 Json，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50303405/

文章推荐： java - EJB 中的 @Inject 注释不适用于 Logger

文章推荐： Haskell 类型同义词问题

文章推荐： java - Spring 集成: issue with failureChannel

文章推荐： ocaml - opam upgrade 想降级一堆包

css - 从浏览器中提取光标图像(抓取、抓取...)
如本answer所述，如果浏览器不支持 e，可以设置后备游标。 G。光标:抓取；。我现在的问题是获取这些图像。在我的驱动器上本地搜索“.cur”只给了我系统光标，其中 grab.cur 和 grab
python - Instagram 抓取
以下代码在计算机上运行以从 Instagram 帐户中抓取数据。当我尝试在 VPS 服务器上使用它时，我被重定向到 Instagram 登录页面，因此脚本不起作用。为什么当我在电脑上或服务器上时，I
ruby - 抓取，我的查询参数错误
我在使用 Ruby 和 Mechanize 将 POST 查询传递到站点的网站上。访问站点的查询基于 firebug，如下所示 param.PrdNo=-1¶m.Type=Prop¶m
ruby - 抓取，跟随分页链接
我正在尝试抓取一个具有多个页面结果的网站，例如“1、2、3、4、5...”。每个分页号都是到另一个页面的链接，我需要抓取每个页面。到目前为止，我想出了这个: while lien = page.l
c# - 抓取 htmlagilitypack
我正在使用 HtmlAgilityPack 在 C# Asp.Net 中执行 Scraping，到目前为止，我在从多个 Web 执行 Scratch 时没有遇到问题，但是，尝试弹出以下代码时出现错误
javascript - 抓取 :after content
如果我有一个 css 文件做这样的事情 #foo:after{content:"bar;} ，有没有办法用 javascript 获取 :after 的内容？获取父元素的内容只返回 #foo 元素的内
javascript - 客户端页面调用/抓取？
问题是这样的: 我有一个 Web 应用程序 - 一个经常更改的通知系统 - 在一系列本地计算机上运行。该应用程序每隔几秒刷新一次以显示新信息。计算机仅显示信息，没有键盘或任何输入设备。问题是，如果与
c# - 抓取/模拟浏览帮助
我想制作一个程序来模拟用户浏览网站和点击链接。必须启用 Cookie 和 javascript。我已经在 python 中成功地做到了这一点，但我想把它写成一种可编译的语言(python ide 不会
python - 抓取/忽略空项目
我制作了这个小机器人，它通过搜索参数列表进行处理。它工作正常，直到页面上有几个结果: product_prices_euros 给出了一半为空的项目列表。因此，当我与 product_prices_c
python - 查找并统计网站上单词的匹配项 - 抓取
我需要找到一个单词的匹配项，例如: 在网上找到所有单词“学习”https://www.georgetown.edu/(结果:4个字)(您可以看到它按CTRL + F并搜索) 我有我的 Python 代
python - 抓取\蜘蛛防护
有一个站点\资源提供一些一般统计信息以及搜索工具的界面。这种搜索操作成本高昂，因此我想限制频繁且连续(即自动)的搜索请求(来自人，而不是来自搜索引擎)。我相信有很多现有的技术和框架可以执行一些情报抓
Python HTML 抓取
这并不是真正的抓取，我只是想在网页中找到类具有特定值的 URL。例如: 我想获取 href 值。关于如何做到这一点的任何想法？也许正则表达式？你能发布一些示例代码吗？我猜 html 抓取库，比如 B
python - 如何从无限滚动网站上抓取所有内容？抓取
我正在使用 scrapy。我正在使用的网站具有无限滚动功能。该网站有很多帖子，但我只抓取了 13 个。如何抓取剩余的帖子？这是我的代码: class exampleSpider(scrapy.
python - 无法通过 BeautifulSoup 抓取
我正在尝试从这个 website 中抓取图像和新闻 url .我定义的标签是 root_tag=["div", {"class":"ngp_col ngp_col-bottom-gutter-2 ng
java - 抓取 Cloudflare 站点
关闭。这个问题需要更多focused .它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题 editing this post . 关闭上个月。 Improve this ques
python - 对本地文件夹中的所有文件重复 BeautifulSoup 抓取
我在几个文件夹中有数千个 html 文件，我想从评论中提取数据并将其放入 csv 文件中。这将允许我为项目格式化和清理它。例如，我在这个文件夹中有 640 个 html 文件: D:\My Web S
c# - 通过 VIEWSTATE 抓取
我在编写用于抓取网页的实用程序时遇到了一个问题。我正在发送 POST 请求来检索数据，我模仿我正在抓取的网络行为(根据使用 fiddler 收集的信息)。我已经能够自动替换我的 POST 中除 V
ajax - Yandex AJAX 抓取
对于 Googlebot 的 AJAX 抓取，我在我的网站中使用“_escaped_fragment_”参数。现在我查看了 Yandex 对我网站的搜索结果。我看到搜索结果中不存在 AJAX 响应
Ruby Mechanize 抓取 ResponseCodeError
我正在尝试抓取网站的所有结果页面，它可以工作，但有时脚本会停止并显示此错误: 502 => Net::HTTPBadGateway for https://website.com/id/12/ --
python - 为什么这个网站不能用 bs4 抓取？
我是一个学习网络爬虫的初学者，由于某种原因我无法爬网this地点。当我在 Chrome 中检查它时，代码看起来不错，但是当我用 BeautifulSoup 阅读它时，它不再是可刮的。汤提到“谷歌分析”

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - 使用 python 3 抓取 Json