javascript - 抓取 CSV 格式的网站数据

Question

对此类编程工作相当缺乏经验，但对嵌入式系统更熟悉。我的网络编程经验很少。

我想要实现的目标:

网站 (danglefactory.com) 有一个很棒的统计表，我想将其下载到 CSV 中进行处理。网站上有一个按钮，可以调用内部脚本来制作 cvs 并准备下载。

推荐人 http://www.danglefactory.com/projections/skaters/daily

脚本http://www.danglefactory.com/scripts/copy_csv_xls.swf

我更喜欢 python 解决方案，它将能够将此 csv 获取到临时存储或本地存储进行处理。

感谢提示。

Answer 1

您可以采取的第一种方法非常低级。

在底层，您可以使用 requests 来模拟 JSON API 调用。 .

以下是获取每日预测的方法:

import requests

url = 'http://www.danglefactory.com/api/DailySkaterProjections?_=1415200157912'
response = requests.get(url)

data = response.json()
print data

打印:

[{u'A': 0.61,
  u'Blocks': 0.37,
  u'Corsi': 0.53,
  u'FOL': 9.07,
  u'FOW': 8.95,
  u'FOWinPerc': 49.6,
  u'G': 0.39,
  u'Giveaways': 0.89,
  u'Hits': 0.54,
  u'Name': u'John Tavares',
  u'Opponent': u'ANA',
  u'P': 0.99,
  u'PIM': 0.51,
  u'PPA': 0.24,
  u'PPG': 0.11,
  u'PlayerID': 411,
  u'PlusMinus': 0.05,
  u'PrimaryPosition': u'C',
  u'SHA': 0.0,
  u'SHG': 0.0,
  u'ShPerc': 12.6,
  u'Shots': 3.1,
  u'TOI': 20.39,
  u'Takeaways': 0.82,
  u'Team': u'NYI'},
 {u'A': 0.7,
  u'Blocks': 1.0,
  u'Corsi': 0.47,
  u'FOL': 8.69,
  u'FOW': 8.43,
  u'FOWinPerc': 49.3,
  u'G': 0.28,
  u'Giveaways': 0.84,
  u'Hits': 1.49,
  u'Name': u'Ryan Getzlaf',
  u'Opponent': u'NYI',
  u'P': 0.97,
  u'PIM': 0.68,
  u'PPA': 0.22,
  u'PPG': 0.07,
  u'PlayerID': 161,
  u'PlusMinus': 0.06,
  u'PrimaryPosition': u'C',
  u'SHA': 0.04,
  u'SHG': 0.02,
  u'ShPerc': 11.9,
  u'Shots': 2.3,
  u'TOI': 20.52,
  u'Takeaways': 0.61,
  u'Team': u'ANA'},

  ...

}]

然后，您可以使用 csv 将结果相应地转换为 csv模块。

<小时/>

另一个解决方案可能是使用 selenium浏览器自动化工具，但问题是 CSV 按钮和表格位于 Flash 对象内，selenium cannot interact with .

<小时/>

您可以使用图像识别和屏幕自动化工具，例如 sikuli找到 CSV 按钮并单击它。如果您仍想保持“高水平”，则可以这样做。

希望有帮助。