c# - Webbrowser尝试解析一些使用ajax加载数据的页面

Question

我正在尝试解析该网站的一些图像..我在其他页面使用 htmlagilitypack但本页面使用ajax加载图片

这就是网页的工作原理。

1. 有一个 div 标签，但不包含任何内容。

2. 在 div 的正下方，cdata 中有一个 script 标签

   <script type="text/javscript> //<
   ![CDATA[ (function(){
   
   ajax POST request to a 'aaaaaa.js' file with the id parameter and if the request is success, it updates the blank div my changing the innerHTML value.
   })(); //]]> 
   </script>
   

所以..我尝试的是...

1. 使用网络浏览器控件导航到该页面。它加载图像很好，但是当我尝试获取“DocumentText”的值时它只显示空白 div 标签...

2. 尝试使用 webrequest 和 webresponse 从 ajax POST 获取直接数据。但是..可能是因为它的.js文件..它不起作用..我只收到http错误。

3. 右键浏览到附加参数的 js 文件。给我一个错误页面

4. 浏览我尝试解析的页面，然后导航到 .js 页面。(我猜当我浏览原始页面时浏览器会缓存一些东西..但我不知道它是什么。)我确实收到了 json 响应!我可以使用这些数据..但是由于网络浏览器控件正在使用 IE。它只是询问我是否要下载响应的 js 文件。

Answer 1

这就是我在评论中提到的使用 DOM 的方法。

另一种方法可能是使用 FiddlerCore ( http://www.fiddler2.com/fiddler/Core/ )

或者让ajax自己调用。您必须确保尊重 cookie、重定向和所有 header 。