javascript - Web 抓取提取 Javascript 表 Selenium+Python-6ren

javascript - Web 抓取提取 Javascript 表 Selenium+Python

转载作者：行者123 更新时间：2023-11-30 11:14:52

我已经阅读了几篇有关 Web Scraping 的文章，但我不明白如何在站点中查找元素。

我要抓取表格的网站如下: http://www.bmfbovespa.com.br/pt_br/servicos/market-data/cotacoes/mercado-de-derivativos/?symbol=DI1

我想废弃表:“TB01、”TB02、TB03 和 TB04“这些是表的 ID

<tbody> == $0
  <tr>
    <td id="TB01">...</td>
    <td id="TB02">...</td>
    <td id="TB03">...</td>
    <td id="TB04">...</td>
  <tr>

我已经尝试了 Selenium 库的所有 find.element 函数，但没有一个起作用。

网站还有一些负载需要等待，我已经习惯了函数 WebDriverWait 但它应该与表的存在相关联，如果 find_element 没有我猜 WebDriverWait 可能都不起作用。

最佳答案

如果您分析网站并通过 chrome 开发人员工具在后端运行，这将非常简单。

在深入研究抓取之前，您需要了解网络中的 ajax 请求。大多数网站使用 ajax 请求，因此，所有内容都是动态加载的。

要遵循的步骤:

在 chrome 的新标签页中打开网站
打开chrome的开发者控制台
转到“网络”选项卡并刷新页面。您可以看到网站正在动态加载的调用。

对于网站 - http://www.bmfbovespa.com.br/pt_br/servicos/market-data/cotacoes/mercado-de-derivativos/?symbol=DI1，这是图片。

您可以看到正在调用 DL1 API。转到标题并查看网址。现在你知道了 url。因此，使用python获取数据非常容易。这是代码。

import requests, json
text = reuqests.get("http://cotacao.b3.com.br/mds/api/v1/DerivativeQuotation/DI1").text
data = json.loads(text)
print(data['Scty'])

以上程序的输出结果如下

[{'SctyQtn': {'avrgPric': 7.7862,
   'bottomLmtPric': 7.01,
   'curPrc': 7.78,
   'maxPric': 7.79,
   'minPric': 7.74,
   'opngPric': 7.74,
   'prvsDayAdjstmntPric': 7.684,
   'topLmtPric': 8.525},
  'asset': {'AsstSummry': {'grssAmt': 111008714.5,
    'mtrtyCode': '2019-06-03',
    'opnCtrcts': 36655,
    'tradQty': 141,
    'traddCtrctsQty': 1175},
   'code': 'DI1'},
  'buyOffer': {'price': 7.64},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.675},
  'symb': 'DI1M19'},
 {'SctyQtn': {'avrgPric': 8.1758,
   'bottomLmtPric': 7.49,
   'curPrc': 8.19,
   'maxPric': 8.3,
   'minPric': 8.13,
   'opngPric': 8.21,
   'prvsDayAdjstmntPric': 8.237,
   'topLmtPric': 9.2},
  'asset': {'AsstSummry': {'grssAmt': 417475320.0,
    'mtrtyCode': '2019-10-01',
    'opnCtrcts': 769684,
    'tradQty': 167,
    'traddCtrctsQty': 4550},
   'code': 'DI1'},
  'buyOffer': {'price': 8.16},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 8.19},
  'symb': 'DI1V19'},
 {'SctyQtn': {'avrgPric': 6.6549,
   'bottomLmtPric': 6.125,
   'curPrc': 6.7,
   'maxPric': 6.71,
   'minPric': 6.645,
   'opngPric': 6.68,
   'prvsDayAdjstmntPric': 6.669,
   'topLmtPric': 7.235},
  'asset': {'AsstSummry': {'grssAmt': 245262515.35,
    'mtrtyCode': '2018-12-03',
    'opnCtrcts': 193484,
    'tradQty': 26,
    'traddCtrctsQty': 2495},
   'code': 'DI1'},
  'buyOffer': {'price': 6.68},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 6.695},
  'symb': 'DI1Z18'},
 {'SctyQtn': {'avrgPric': 12.4511,
   'bottomLmtPric': 11.58,
   'curPrc': 12.4,
   'maxPric': 12.63,
   'minPric': 12.39,
   'opngPric': 12.45,
   'prvsDayAdjstmntPric': 12.533,
   'topLmtPric': 13.78},
  'asset': {'AsstSummry': {'grssAmt': 995856709.26,
    'mtrtyCode': '2027-01-04',
    'opnCtrcts': 339175,
    'tradQty': 2616,
    'traddCtrctsQty': 26466},
   'code': 'DI1'},
  'buyOffer': {'price': 12.39},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 12.4},
  'symb': 'DI1F27'},
 {'SctyQtn': {'avrgPric': 10.542,
   'bottomLmtPric': 9.61,
   'curPrc': 10.6,
   'maxPric': 10.6,
   'minPric': 10.4,
   'opngPric': 10.43,
   'prvsDayAdjstmntPric': 10.525,
   'topLmtPric': 11.71},
  'asset': {'AsstSummry': {'grssAmt': 3667893.9,
    'mtrtyCode': '2021-10-01',
    'opnCtrcts': 25005,
    'tradQty': 10,
    'traddCtrctsQty': 50},
   'code': 'DI1'},
  'buyOffer': {'price': 10.42},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 10.44},
  'symb': 'DI1V21'},
 {'SctyQtn': {'bottomLmtPric': 11.5,
   'prvsDayAdjstmntPric': 12.445,
   'topLmtPric': 13.69},
  'asset': {'AsstSummry': {'mtrtyCode': '2026-07-01', 'opnCtrcts': 3325},
   'code': 'DI1'},
  'mkt': {'cd': 'FUT'},
  'symb': 'DI1N26'},
 {'SctyQtn': {'avrgPric': 8.8308,
   'bottomLmtPric': 8.08,
   'curPrc': 8.83,
   'maxPric': 9,
   'minPric': 8.78,
   'opngPric': 8.86,
   'prvsDayAdjstmntPric': 8.886,
   'topLmtPric': 9.94},
  'asset': {'AsstSummry': {'grssAmt': 355167456.9,
    'mtrtyCode': '2020-04-01',
    'opnCtrcts': 647478,
    'tradQty': 269,
    'traddCtrctsQty': 4065},
   'code': 'DI1'},
  'buyOffer': {'price': 8.82},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 8.83},
  'symb': 'DI1J20'},
 {'SctyQtn': {'avrgPric': 7.6,
   'bottomLmtPric': 6.86,
   'curPrc': 7.6,
   'maxPric': 7.6,
   'minPric': 7.6,
   'opngPric': 7.6,
   'prvsDayAdjstmntPric': 7.515,
   'topLmtPric': 8.325},
  'asset': {'AsstSummry': {'grssAmt': 476031.4,
    'mtrtyCode': '2019-05-02',
    'opnCtrcts': 47300,
    'tradQty': 1,
    'traddCtrctsQty': 5},
   'code': 'DI1'},
  'buyOffer': {'price': 7.46},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.5},
  'symb': 'DI1K19'},
 {'SctyQtn': {'avrgPric': 10.6572,
   'bottomLmtPric': 9.77,
   'curPrc': 10.62,
   'maxPric': 10.81,
   'minPric': 10.57,
   'opngPric': 10.6,
   'prvsDayAdjstmntPric': 10.695,
   'topLmtPric': 11.88},
  'asset': {'AsstSummry': {'grssAmt': 2389488485.5,
    'mtrtyCode': '2022-01-03',
    'opnCtrcts': 744332,
    'tradQty': 3539,
    'traddCtrctsQty': 33516},
   'code': 'DI1'},
  'buyOffer': {'price': 10.61},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 10.63},
  'symb': 'DI1F22'},
 {'SctyQtn': {'avrgPric': 6.8224,
   'bottomLmtPric': 6.26,
   'curPrc': 6.83,
   'maxPric': 6.88,
   'minPric': 6.78,
   'opngPric': 6.8,
   'prvsDayAdjstmntPric': 6.835,
   'topLmtPric': 7.47},
  'asset': {'AsstSummry': {'grssAmt': 3759849797.05,
    'mtrtyCode': '2019-01-02',
    'opnCtrcts': 3296622,
    'tradQty': 1187,
    'traddCtrctsQty': 38465},
   'code': 'DI1'},
  'buyOffer': {'price': 6.825},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 6.835},
  'symb': 'DI1F19'},
 {'SctyQtn': {'avrgPric': 12.6441,
   'bottomLmtPric': 11.8,
   'curPrc': 12.6,
   'maxPric': 12.84,
   'minPric': 12.6,
   'opngPric': 12.67,
   'prvsDayAdjstmntPric': 12.753,
   'topLmtPric': 14},
  'asset': {'AsstSummry': {'grssAmt': 305050246.35,
    'mtrtyCode': '2029-01-02',
    'opnCtrcts': 87547,
    'tradQty': 807,
    'traddCtrctsQty': 10415},
   'code': 'DI1'},
  'buyOffer': {'price': 12.59},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 12.6},
  'symb': 'DI1F29'},
 {'SctyQtn': {'avrgPric': 7.185,
   'bottomLmtPric': 6.57,
   'curPrc': 7.185,
   'maxPric': 7.185,
   'minPric': 7.185,
   'opngPric': 7.185,
   'prvsDayAdjstmntPric': 7.196,
   'topLmtPric': 7.93},
  'asset': {'AsstSummry': {'grssAmt': 965104.3,
    'mtrtyCode': '2019-03-01',
    'opnCtrcts': 42941,
    'tradQty': 1,
    'traddCtrctsQty': 10},
   'code': 'DI1'},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.185},
  'symb': 'DI1H19'},
 {'SctyQtn': {'bottomLmtPric': 11.29,
   'prvsDayAdjstmntPric': 12.236,
   'topLmtPric': 13.47},
  'asset': {'AsstSummry': {'mtrtyCode': '2025-07-01', 'opnCtrcts': 3485},
   'code': 'DI1'},
  'mkt': {'cd': 'FUT'},
  'symb': 'DI1N25'},
 {'SctyQtn': {'avrgPric': 9.6967,
   'bottomLmtPric': 8.89,
   'curPrc': 9.68,
   'maxPric': 9.85,
   'minPric': 9.63,
   'opngPric': 9.7,
   'prvsDayAdjstmntPric': 9.766,
   'topLmtPric': 10.9},
  'asset': {'AsstSummry': {'grssAmt': 14461876431.2,
    'mtrtyCode': '2021-01-04',
    'opnCtrcts': 1589400,
    'tradQty': 11304,
    'traddCtrctsQty': 179775},
   'code': 'DI1'},
  'buyOffer': {'price': 9.67},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 9.68},
  'symb': 'DI1F21'},
 {'SctyQtn': {'avrgPric': 9.1373,
   'bottomLmtPric': 8.35,
   'curPrc': 9.13,
   'maxPric': 9.29,
   'minPric': 9.08,
   'opngPric': 9.1,
   'prvsDayAdjstmntPric': 9.186,
   'topLmtPric': 10.28},
  'asset': {'AsstSummry': {'grssAmt': 1676360397.45,
    'mtrtyCode': '2020-07-01',
    'opnCtrcts': 1438827,
    'tradQty': 2742,
    'traddCtrctsQty': 19685},
   'code': 'DI1'},
  'buyOffer': {'price': 9.12},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 9.13},
  'symb': 'DI1N20'},
 {'SctyQtn': {'avrgPric': 10.8811,
   'bottomLmtPric': 9.96,
   'curPrc': 10.97,
   'maxPric': 10.97,
   'minPric': 10.78,
   'opngPric': 10.78,
   'prvsDayAdjstmntPric': 10.885,
   'topLmtPric': 12.08},
  'asset': {'AsstSummry': {'grssAmt': 3106685.3,
    'mtrtyCode': '2022-04-01',
    'opnCtrcts': 16160,
    'tradQty': 7,
    'traddCtrctsQty': 45},
   'code': 'DI1'},
  'buyOffer': {'price': 10.78},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 10.81},
  'symb': 'DI1J22'},
 {'SctyQtn': {'avrgPric': 11.7735,
   'bottomLmtPric': 10.89,
   'curPrc': 11.7,
   'maxPric': 11.91,
   'minPric': 11.69,
   'opngPric': 11.74,
   'prvsDayAdjstmntPric': 11.836,
   'topLmtPric': 13.06},
  'asset': {'AsstSummry': {'grssAmt': 88173754.85,
    'mtrtyCode': '2024-01-02',
    'opnCtrcts': 63830,
    'tradQty': 247,
    'traddCtrctsQty': 1595},
   'code': 'DI1'},
  'buyOffer': {'price': 11.69},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 11.71},
  'symb': 'DI1F24'},
 {'SctyQtn': {'avrgPric': 10.0743,
   'bottomLmtPric': 9.1,
   'curPrc': 10.08,
   'maxPric': 10.08,
   'minPric': 10.07,
   'opngPric': 10.07,
   'prvsDayAdjstmntPric': 9.996,
   'topLmtPric': 11.15},
  'asset': {'AsstSummry': {'grssAmt': 2730323.55,
    'mtrtyCode': '2021-04-01',
    'opnCtrcts': 57813,
    'tradQty': 5,
    'traddCtrctsQty': 35},
   'code': 'DI1'},
  'buyOffer': {'price': 9.92},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 9.94},
  'symb': 'DI1J21'},
 {'SctyQtn': {'avrgPric': 11.3251,
   'bottomLmtPric': 10.43,
   'curPrc': 11.29,
   'maxPric': 11.49,
   'minPric': 11.24,
   'opngPric': 11.27,
   'prvsDayAdjstmntPric': 11.375,
   'topLmtPric': 12.59},
  'asset': {'AsstSummry': {'grssAmt': 2902365222.1,
    'mtrtyCode': '2023-01-02',
    'opnCtrcts': 643495,
    'tradQty': 5563,
    'traddCtrctsQty': 46221},
   'code': 'DI1'},
  'buyOffer': {'price': 11.28},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 11.29},
  'symb': 'DI1F23'},
 {'SctyQtn': {'bottomLmtPric': 6.043,
   'prvsDayAdjstmntPric': 6.394,
   'topLmtPric': 6.743},
  'asset': {'AsstSummry': {'mtrtyCode': '2018-09-03', 'opnCtrcts': 794385},
   'code': 'DI1'},
  'buyOffer': {'price': 6.391},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 6.394},
  'symb': 'DI1U18'},
 {'SctyQtn': {'avrgPric': 10.9889,
   'bottomLmtPric': 10.12,
   'curPrc': 10.98,
   'maxPric': 11.18,
   'minPric': 10.96,
   'opngPric': 11.01,
   'prvsDayAdjstmntPric': 11.055,
   'topLmtPric': 12.25},
  'asset': {'AsstSummry': {'grssAmt': 751347046.85,
    'mtrtyCode': '2022-07-01',
    'opnCtrcts': 107601,
    'tradQty': 378,
    'traddCtrctsQty': 11210},
   'code': 'DI1'},
  'buyOffer': {'price': 10.98},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 10.99},
  'symb': 'DI1N22'},
 {'SctyQtn': {'avrgPric': 6.525,
   'bottomLmtPric': 6.025,
   'curPrc': 6.525,
   'maxPric': 6.525,
   'minPric': 6.525,
   'opngPric': 6.525,
   'prvsDayAdjstmntPric': 6.528,
   'topLmtPric': 7.025},
  'asset': {'AsstSummry': {'grssAmt': 49414005.0,
    'mtrtyCode': '2018-11-01',
    'opnCtrcts': 388520,
    'tradQty': 8,
    'traddCtrctsQty': 500},
   'code': 'DI1'},
  'buyOffer': {'price': 6.51},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 6.56},
  'symb': 'DI1X18'},
 {'SctyQtn': {'avrgPric': 7.3144,
   'bottomLmtPric': 6.695,
   'curPrc': 7.32,
   'maxPric': 7.41,
   'minPric': 7.26,
   'opngPric': 7.28,
   'prvsDayAdjstmntPric': 7.341,
   'topLmtPric': 8.115},
  'asset': {'AsstSummry': {'grssAmt': 2331794391.85,
    'mtrtyCode': '2019-04-01',
    'opnCtrcts': 818987,
    'tradQty': 391,
    'traddCtrctsQty': 24305},
   'code': 'DI1'},
  'buyOffer': {'price': 7.315},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.325},
  'symb': 'DI1J19'},
 {'SctyQtn': {'avrgPric': 6.4435,
   'bottomLmtPric': 6.015,
   'curPrc': 6.448,
   'maxPric': 6.45,
   'minPric': 6.435,
   'opngPric': 6.45,
   'prvsDayAdjstmntPric': 6.447,
   'topLmtPric': 6.875},
  'asset': {'AsstSummry': {'grssAmt': 6047420821.25,
    'mtrtyCode': '2018-10-01',
    'opnCtrcts': 2472721,
    'tradQty': 133,
    'traddCtrctsQty': 60850},
   'code': 'DI1'},
  'buyOffer': {'price': 6.446},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 6.448},
  'symb': 'DI1V18'},
 {'SctyQtn': {'avrgPric': 12.2392,
   'bottomLmtPric': 11.39,
   'curPrc': 12.2,
   'maxPric': 12.41,
   'minPric': 12.2,
   'opngPric': 12.26,
   'prvsDayAdjstmntPric': 12.334,
   'topLmtPric': 13.57},
  'asset': {'AsstSummry': {'grssAmt': 13930258.0,
    'mtrtyCode': '2026-01-02',
    'opnCtrcts': 78158,
    'tradQty': 40,
    'traddCtrctsQty': 325},
   'code': 'DI1'},
  'buyOffer': {'price': 12.19},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 12.21},
  'symb': 'DI1F26'},
 {'SctyQtn': {'avrgPric': 9.439,
   'bottomLmtPric': 8.64,
   'curPrc': 9.51,
   'maxPric': 9.57,
   'minPric': 9.4,
   'opngPric': 9.4,
   'prvsDayAdjstmntPric': 9.496,
   'topLmtPric': 10.61},
  'asset': {'AsstSummry': {'grssAmt': 1046752634.45,
    'mtrtyCode': '2020-10-01',
    'opnCtrcts': 219310,
    'tradQty': 62,
    'traddCtrctsQty': 12645},
   'code': 'DI1'},
  'buyOffer': {'price': 9.41},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 9.44},
  'symb': 'DI1V20'},
 {'SctyQtn': {'bottomLmtPric': 10.56,
   'prvsDayAdjstmntPric': 11.509,
   'topLmtPric': 12.72},
  'asset': {'AsstSummry': {'mtrtyCode': '2023-04-03', 'opnCtrcts': 11610},
   'code': 'DI1'},
  'mkt': {'cd': 'FUT'},
  'symb': 'DI1J23'},
 {'SctyQtn': {'avrgPric': 10.2088,
   'bottomLmtPric': 9.37,
   'curPrc': 10.18,
   'maxPric': 10.35,
   'minPric': 10.14,
   'opngPric': 10.14,
   'prvsDayAdjstmntPric': 10.276,
   'topLmtPric': 11.45},
  'asset': {'AsstSummry': {'grssAmt': 1141539998.05,
    'mtrtyCode': '2021-07-01',
    'opnCtrcts': 407600,
    'tradQty': 989,
    'traddCtrctsQty': 15035},
   'code': 'DI1'},
  'buyOffer': {'price': 10.17},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 10.18},
  'symb': 'DI1N21'},
 {'SctyQtn': {'avrgPric': 7.0568,
   'bottomLmtPric': 6.405,
   'curPrc': 7.02,
   'maxPric': 7.065,
   'minPric': 7.02,
   'opngPric': 7.065,
   'prvsDayAdjstmntPric': 7.01,
   'topLmtPric': 7.7},
  'asset': {'AsstSummry': {'grssAmt': 22816998.75,
    'mtrtyCode': '2019-02-01',
    'opnCtrcts': 198230,
    'tradQty': 29,
    'traddCtrctsQty': 235},
   'code': 'DI1'},
  'buyOffer': {'price': 6.99},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.02},
  'symb': 'DI1G19'},
 {'SctyQtn': {'avrgPric': 7.7849,
   'bottomLmtPric': 7.12,
   'curPrc': 7.775,
   'maxPric': 7.9,
   'minPric': 7.715,
   'opngPric': 7.73,
   'prvsDayAdjstmntPric': 7.817,
   'topLmtPric': 8.7},
  'asset': {'AsstSummry': {'grssAmt': 3488606085.5,
    'mtrtyCode': '2019-07-01',
    'opnCtrcts': 791673,
    'tradQty': 1523,
    'traddCtrctsQty': 37135},
   'code': 'DI1'},
  'buyOffer': {'price': 7.77},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.78},
  'symb': 'DI1N19'},
 {'SctyQtn': {'avrgPric': 12.0531,
   'bottomLmtPric': 11.16,
   'curPrc': 12.01,
   'maxPric': 12.23,
   'minPric': 11.99,
   'opngPric': 12.03,
   'prvsDayAdjstmntPric': 12.114,
   'topLmtPric': 13.35},
  'asset': {'AsstSummry': {'grssAmt': 1748133912.1,
    'mtrtyCode': '2025-01-02',
    'opnCtrcts': 525980,
    'tradQty': 3842,
    'traddCtrctsQty': 35941},
   'code': 'DI1'},
  'buyOffer': {'price': 12},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 12.01},
  'symb': 'DI1F25'},
 {'SctyQtn': {'avrgPric': 12.725,
   'bottomLmtPric': 11.71,
   'curPrc': 12.73,
   'maxPric': 12.73,
   'minPric': 12.72,
   'opngPric': 12.72,
   'prvsDayAdjstmntPric': 12.658,
   'topLmtPric': 13.9},
  'asset': {'AsstSummry': {'grssAmt': 327258.25,
    'mtrtyCode': '2028-01-03',
    'opnCtrcts': 9805,
    'tradQty': 2,
    'traddCtrctsQty': 10},
   'code': 'DI1'},
  'buyOffer': {'price': 12.47},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 12.51},
  'symb': 'DI1F28'},
 {'SctyQtn': {'avrgPric': 8.5217,
   'bottomLmtPric': 7.8,
   'curPrc': 8.51,
   'maxPric': 8.66,
   'minPric': 8.46,
   'opngPric': 8.51,
   'prvsDayAdjstmntPric': 8.576,
   'topLmtPric': 9.59},
  'asset': {'AsstSummry': {'grssAmt': 12632820547.85,
    'mtrtyCode': '2020-01-02',
    'opnCtrcts': 2512243,
    'tradQty': 7202,
    'traddCtrctsQty': 141065},
   'code': 'DI1'},
  'buyOffer': {'price': 8.51},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 8.52},
  'symb': 'DI1F20'},
 {'SctyQtn': {'bottomLmtPric': 11.84,
   'prvsDayAdjstmntPric': 12.79,
   'topLmtPric': 14.03},
  'asset': {'AsstSummry': {'mtrtyCode': '2030-01-02', 'opnCtrcts': 5325},
   'code': 'DI1'},
  'mkt': {'cd': 'FUT'},
  'symb': 'DI1F30'},
 {'SctyQtn': {'bottomLmtPric': 11.04,
   'prvsDayAdjstmntPric': 11.991,
   'topLmtPric': 13.21},
  'asset': {'AsstSummry': {'mtrtyCode': '2024-07-01', 'opnCtrcts': 25060},
   'code': 'DI1'},
  'buyOffer': {'price': 11.83},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 11.87},
  'symb': 'DI1N24'},
 {'SctyQtn': {'bottomLmtPric': 7.27,
   'prvsDayAdjstmntPric': 7.974,
   'topLmtPric': 8.895},
  'asset': {'AsstSummry': {'mtrtyCode': '2019-08-01', 'opnCtrcts': 24280},
   'code': 'DI1'},
  'buyOffer': {'price': 7.905},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 7.94},
  'symb': 'DI1Q19'},
 {'SctyQtn': {'avrgPric': 11.292,
   'bottomLmtPric': 10.28,
   'curPrc': 11.3,
   'maxPric': 11.3,
   'minPric': 11.29,
   'opngPric': 11.29,
   'prvsDayAdjstmntPric': 11.22,
   'topLmtPric': 12.42},
  'asset': {'AsstSummry': {'grssAmt': 1613776.85,
    'mtrtyCode': '2022-10-03',
    'opnCtrcts': 32880,
    'tradQty': 3,
    'traddCtrctsQty': 25},
   'code': 'DI1'},
  'buyOffer': {'price': 11.1},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 11.13},
  'symb': 'DI1V22'},
 {'SctyQtn': {'avrgPric': 11.5762,
   'bottomLmtPric': 10.65,
   'curPrc': 11.5,
   'maxPric': 11.68,
   'minPric': 11.5,
   'opngPric': 11.58,
   'prvsDayAdjstmntPric': 11.602,
   'topLmtPric': 12.82},
  'asset': {'AsstSummry': {'grssAmt': 19148925.5,
    'mtrtyCode': '2023-07-03',
    'opnCtrcts': 22610,
    'tradQty': 29,
    'traddCtrctsQty': 325},
   'code': 'DI1'},
  'buyOffer': {'price': 11.5},
  'mkt': {'cd': 'FUT'},
  'sellOffer': {'price': 11.51},
  'symb': 'DI1N23'}]

关于javascript - Web 抓取提取 Javascript 表 Selenium+Python，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52010016/

文章推荐： java - 在 java 中访问 digitalocean 液滴信息的简单程序

文章推荐： ios - 如何在 Swift 对象映射器上解析数组对象

文章推荐： java - Minecraft Launcher 重新编译

文章推荐： javascript - 将部分html文本替换为input val JS

css - 从浏览器中提取光标图像(抓取、抓取...)
如本answer所述，如果浏览器不支持 e，可以设置后备游标。 G。光标:抓取；。我现在的问题是获取这些图像。在我的驱动器上本地搜索“.cur”只给了我系统光标，其中 grab.cur 和 grab
python - Instagram 抓取
以下代码在计算机上运行以从 Instagram 帐户中抓取数据。当我尝试在 VPS 服务器上使用它时，我被重定向到 Instagram 登录页面，因此脚本不起作用。为什么当我在电脑上或服务器上时，I
ruby - 抓取，我的查询参数错误
我在使用 Ruby 和 Mechanize 将 POST 查询传递到站点的网站上。访问站点的查询基于 firebug，如下所示 param.PrdNo=-1¶m.Type=Prop¶m
ruby - 抓取，跟随分页链接
我正在尝试抓取一个具有多个页面结果的网站，例如“1、2、3、4、5...”。每个分页号都是到另一个页面的链接，我需要抓取每个页面。到目前为止，我想出了这个: while lien = page.l
c# - 抓取 htmlagilitypack
我正在使用 HtmlAgilityPack 在 C# Asp.Net 中执行 Scraping，到目前为止，我在从多个 Web 执行 Scratch 时没有遇到问题，但是，尝试弹出以下代码时出现错误
javascript - 抓取 :after content
如果我有一个 css 文件做这样的事情 #foo:after{content:"bar;} ，有没有办法用 javascript 获取 :after 的内容？获取父元素的内容只返回 #foo 元素的内
javascript - 客户端页面调用/抓取？
问题是这样的: 我有一个 Web 应用程序 - 一个经常更改的通知系统 - 在一系列本地计算机上运行。该应用程序每隔几秒刷新一次以显示新信息。计算机仅显示信息，没有键盘或任何输入设备。问题是，如果与
c# - 抓取/模拟浏览帮助
我想制作一个程序来模拟用户浏览网站和点击链接。必须启用 Cookie 和 javascript。我已经在 python 中成功地做到了这一点，但我想把它写成一种可编译的语言(python ide 不会
python - 抓取/忽略空项目
我制作了这个小机器人，它通过搜索参数列表进行处理。它工作正常，直到页面上有几个结果: product_prices_euros 给出了一半为空的项目列表。因此，当我与 product_prices_c
python - 查找并统计网站上单词的匹配项 - 抓取
我需要找到一个单词的匹配项，例如: 在网上找到所有单词“学习”https://www.georgetown.edu/(结果:4个字)(您可以看到它按CTRL + F并搜索) 我有我的 Python 代
python - 抓取\蜘蛛防护
有一个站点\资源提供一些一般统计信息以及搜索工具的界面。这种搜索操作成本高昂，因此我想限制频繁且连续(即自动)的搜索请求(来自人，而不是来自搜索引擎)。我相信有很多现有的技术和框架可以执行一些情报抓
Python HTML 抓取
这并不是真正的抓取，我只是想在网页中找到类具有特定值的 URL。例如: 我想获取 href 值。关于如何做到这一点的任何想法？也许正则表达式？你能发布一些示例代码吗？我猜 html 抓取库，比如 B
python - 如何从无限滚动网站上抓取所有内容？抓取
我正在使用 scrapy。我正在使用的网站具有无限滚动功能。该网站有很多帖子，但我只抓取了 13 个。如何抓取剩余的帖子？这是我的代码: class exampleSpider(scrapy.
python - 无法通过 BeautifulSoup 抓取
我正在尝试从这个 website 中抓取图像和新闻 url .我定义的标签是 root_tag=["div", {"class":"ngp_col ngp_col-bottom-gutter-2 ng
java - 抓取 Cloudflare 站点
关闭。这个问题需要更多focused .它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题 editing this post . 关闭上个月。 Improve this ques
python - 对本地文件夹中的所有文件重复 BeautifulSoup 抓取
我在几个文件夹中有数千个 html 文件，我想从评论中提取数据并将其放入 csv 文件中。这将允许我为项目格式化和清理它。例如，我在这个文件夹中有 640 个 html 文件: D:\My Web S
c# - 通过 VIEWSTATE 抓取
我在编写用于抓取网页的实用程序时遇到了一个问题。我正在发送 POST 请求来检索数据，我模仿我正在抓取的网络行为(根据使用 fiddler 收集的信息)。我已经能够自动替换我的 POST 中除 V
ajax - Yandex AJAX 抓取
对于 Googlebot 的 AJAX 抓取，我在我的网站中使用“_escaped_fragment_”参数。现在我查看了 Yandex 对我网站的搜索结果。我看到搜索结果中不存在 AJAX 响应
Ruby Mechanize 抓取 ResponseCodeError
我正在尝试抓取网站的所有结果页面，它可以工作，但有时脚本会停止并显示此错误: 502 => Net::HTTPBadGateway for https://website.com/id/12/ --
python - 为什么这个网站不能用 bs4 抓取？
我是一个学习网络爬虫的初学者，由于某种原因我无法爬网this地点。当我在 Chrome 中检查它时，代码看起来不错，但是当我用 BeautifulSoup 阅读它时，它不再是可刮的。汤提到“谷歌分析”

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

javascript - Web 抓取提取 Javascript 表 Selenium+Python