c# - 在 Screen Scraping 中工作时出现页面发布问题

Question

我正在处理屏幕抓取并在 3 个网站上成功完成，我在最后一个网站上遇到问题

这是我的网址，当我输入我的参数时，它会在下一页显示结果，只需发布​​到其他页面并在其他页面上显示结果即可

Here is My Test

但是，当我从我的应用程序中点击时，因为在这里我没有发布选项，它只获取请求页面的 html，这显然是我上面提到的 HTML 测试链接，实际上在 URL 中有参数来获取结果。

我该如何处理这种情况？请给我提示。

谢谢

这是我的 C# 代码，我使用的是 HTMLAgality

String url;
HtmlWeb hw = new HtmlWeb();
HtmlDocument doc;
url = "http://mysampleURL";
doc = hw.Load(url);

Answer 1

使用 WebClient 类发布具有预期输入值的第一页表单。输入值可以在第一页的源代码中找到，但也可以使用 Fiddler 捕获它们，恕我直言，Fiddler 是适用于这些场景的一个很好的工具。

例子:

NameValueCollection values = new NameValueCollection();
values.Add("action","hotelPackageWizard@searchHotelOnly");
values.Add("packageType","HOTEL_ONLY");
// etc..
WebClient webclient = new WebClient();
webclient.Headers.Add("Content-Type","application/x-www-form-urlencoded");
byte[] responseArray = webclient.UploadValues("http://www.expedia.com/Hotels?rfrr=-905&","POST", values);
string response = System.Text.Encoding.ASCII.GetString(responseArray);