python - 抓取 MTA 地铁数据？

Question

我手头有一个有趣的问题，我想知道这里是否有更聪明、更有经验的人可以提供一些见解。

基本上，我需要几个 MTA 地铁线路列车的完整列车停靠站列表。以下是数据在 mta.info 网站上的显示方式，以第 3 行为例

http://web.mta.info/nyct/service/threelin.htm

我是否可以抓取这些数据，然后将其写入文本或 csv 文件？如果是这样，我将如何去做这样的事情？我觉得这可能可以用 Python 完成，但我不确定，因为我两天前才开始用 Python 创建东西(我是一个 Java 人)。

我试图避免手动将这些中的每一个都写到文档中，但如果没有其他选择，我想我将不得不这样做。我只需要数据

如果有任何脚本专家可以为我指明正确的方向，我将不胜感激 :)

Answer 1

有一个free API正如@rjbman 指出的那样可用。另见:

• is there an api for the new york mta subway/bus/train etc?
• MTA-API python wrapper

但是，这里有一个替代解决方案，涉及使用 BeautifulSoup 进行 HTML 解析。 :

from bs4 import BeautifulSoup
import requests

url = "http://web.mta.info/nyct/service/threelin.htm"
response = requests.get(url)

soup = BeautifulSoup(response.content)
table = soup.find('table', summary='Table of 3 Subway Line Stops')
stops = [tr('td')[2].text.strip().replace('\n', '').split(' /') 
         for tr in table('tr', height=25)]
print stops

将所有停靠点打印为列表列表:

[
    [u'Harlem-148 Street', u'7 Avenue'], 
    [u'145 Street', u'Lenox Avenue'], 
    ...
    [u'Van Siclen Avenue', u'Livonia Avenue'], 
    [u'New Lots Avenue', u'Livonia Avenue']
]

为了获取我使用的页面内容 requests模块。