javascript - 基于 Python/ASP.NET/Javascript : How to scrape ASP. NET 的页面

Question

我正在开发一个 python 程序，该程序将从网页中抓取数据(公共(public)数据)。问题是当我想获取可使用按钮访问且基于 ASP.NET 的网页的源代码时。我不能像往常一样从页面解析 href。

所以我的问题是:有没有一种简单的方法可以获取ASP.NET页面的源代码？

为了解释清楚，我附上了一个基于 ASP.NET 的网页:在这种情况下，我想获得当我点击页面中间的“Radiátor topení (1)”时显示的页面源代码。 您可以看到父页面我要模拟点击的按钮在哪里 here !

我试图检查这个(父)页面的源代码并在“Radiátor topení (1)”文本附近寻找一些 url，但我只找到了这个:

<td class="CatalogCell"><a onclick=" return PathClick(&#39;3761801;176564;356239;922141;922488;922507;922508&#39;)"><H2 class="CatalogH">Radiátor topení (1)</H2></a></td>恐怕这对我没有帮助。

我正在寻找一种最简单的方法，因为我既不精通 ASP.NET 也不精通 Javascript。谢谢指教!

Answer 1

程序是python的，给出了链接的html源

import urllib2
from bs4 import BeautifulSoup

link="http://www.example.com"
hdr = {'User-Agent': 'Mozilla/5.0'}
req = urllib2.Request(link,headers=hdr)

page = urllib2.urlopen(link)
soup = BeautifulSoup(page,'html.parser')

print soup