.net - 获取网页内容并进行处理(打印或保存到文件)

Question

我是一名房地产估价师，对 vb 和 .net 的使用经验有限。我有一项任务需要我去 conuty appraisers 网站并打印当前公共(public)记录信息的副本(图像 bmp 或 jpg 或直接到默认打印机)从几页到 1,000 多页不等一次记录。

我做这部分工作并没有真正得到报酬，所以他们不在乎我是花几分钟还是几个小时来做​​这件事。我认为一定有一种方法可以使这个过程自动化，所以上周我开始搜索和测试代码片段。

我必须打开一个 IE 实例；导航到请求的页面；找到 AcctNo 的表单元素；填写并提交表格。返回的页面已针对屏幕显示进行了格式化，不适合发送到打印机。但是，有一个链接，单击该链接会返回一个格式化为打印的页面。缺点是它还会弹出打印对话框，然后必须对其进行处理。我可以通过多种方法点击打印按钮或取消按钮，这样我就可以将文档发送到打印机或显示在屏幕上。

问题是:

1. 有没有办法在不显示打印对话框的情况下执行此操作？可能是 HTTPRequest 或 HTTPWebREquest，因为我不需要看屏幕，只需要最后一页。

2. 生成的页面通常比字母长几行，并且要打印在两页上。调整页面大小以适合它会很好，通常它会是相同的调整大小。

3. 如果我坚持使用打印对话框点击打印或取消，我如何拦截文档并根据程序中设置的选项决定是将文件发送到打印机还是保存到图像？

我确信我工作太努力了，无法做到这一点，我认为有人可以在一秒钟内回答这个问题，而我花了 3 天的大部分时间试图弄清楚。

我喜欢解决问题的挑战，因此非常感谢在类里面或某些网站上指点我，但是示例代码很有帮助，因为我不是经验丰富的程序员，基本上是通过示例并根据我的需要进行更改。

谢谢

Answer 1

您正在尝试做的是所谓的网页抓取。虽然我不是 VB 专家(抱歉!)，但通常我会像这样分解网络抓取程序-

1. 使用 GET 或 POST 从 URL 下载 HTML 文件。
2. 从该文件中提取信息。
3. 格式化并返回该信息，或重复，可能遵循 HTML 中找到的链接。

Google 搜索“vb web scraping”提供了许多不同的技术，但我不确定您对哪种技术感到满意。理想情况下，一种对网络更友好的语言可能是个好主意。我在 Python 中完成了大部分的抓取工作。虽然我以前这样做很困难，但我最近开始尝试图书馆 - 机械化 - 这让我的生活更轻松。

这段 Python 会转到 Google 的主页，转到“关于”链接，然后将 HTML 保存到一个文件中。

import mechanize, re

browser = mechanize.Browser()
browser.open("http://google.com")

#find and follow a link with the text "About" in it
about_page = browser.follow_link(text_regex = re.compile("About"))

#open a local html file to save to
output_file = open("about.html","w")

for line in about_page.read():
  output_file.write(line + '\n')
output_file.close()

我知道您不了解 Python，但它是最容易学习的语言之一，并且似乎比 VB 更适合这项任务。另外，StackOverflow 上有很多人都这么说——将 ~14k 标签与~5k 标签进行比较。