.net - 我应该为动态网页使用哪个屏幕抓取工具？

Question

我想开发一个程序，从 6 个不同的网站收集数据并显示动态变化的信息。

为了开发这样的程序，我需要一个屏幕抓取工具，它能够同时从 6 个数据变化频率很高的不同网页中提取数据。

请参阅下面的链接以了解数据显示的类型和动态方式。

http://www.igmarkets.com.au/pricestream/outside/getMarketList?webSiteId=zam&businessArea=F&locale=en_ZA&firstTime=true&skin=igindex

6 个网页上的信息显示略有不同，但概念非常相似。

任何人都可以建议什么是适合这种目的的正确实用软件。

非常感谢

Answer 1

从道德上讲，屏幕抓取可能是一种可疑的做法 - 但有合法用途。举个例子，搜索引擎会通过某种方式来获取结果。

有些站点会阻止发出过多请求的实用程序 - 如果您要发出很多请求，这是请求许可的一个很好的理由 - 因为它可能看起来像 DoS attack网站可能会对您采取行动。

除此之外，如果您有合法用途来读取页面内容(以便您可以以某种方式处理它)，代码就相当简单。

来自 MSDN

在 C# 中:

// Initialize the WebRequest.
WebRequest myRequest = WebRequest.Create("http://www.contoso.com");

// Return the response. 
WebResponse myResponse = myRequest.GetResponse();

// Code to use the WebResponse goes here.

// Close the response to free resources.
myResponse.Close();