c# - 从一堆网页中以编程方式提取结构化数据的最简单方法是什么？

Question

以编程方式从一堆网页中提取结构化数据的最简单方法是什么？

我目前正在使用我编写的 Adob​​e AIR 程序来跟踪一页上的链接并从后续页面中获取一部分数据。这实际上工作得很好，对于程序员我认为这(或其他语言)提供了一种合理的方法，可以根据具体情况编写。也许有一种特定的语言或库可以让程序员非常快速地做到这一点，如果是的话，我很想知道它们是什么。

是否存在任何工具可以让非程序员(例如客户支持代表或负责数据采集的人员)无需进行大量复制和粘贴即可从网页中提取结构化数据？

Answer 1

如果您在 Stackoverflow 上搜索 WWW::Mechanize & pQuery您将看到许多使用这些 Perl 的示例 CPAN模块。

但是，因为您提到了“非程序员”，那么也许 Web::Scraper CPAN 模块可能更合适？更多 DSL喜欢，所以对于“非程序员”来说可能更容易上手。

这是文档中用于从 Twitter 检索推文的示例:

use URI;
use Web::Scraper;

my $tweets = scraper {
    process "li.status", "tweets[]" => scraper {
        process ".entry-content",    body => 'TEXT';
        process ".entry-date",       when => 'TEXT';
        process 'a[rel="bookmark"]', link => '@href';
    };
};

my $res = $tweets->scrape( URI->new("http://twitter.com/miyagawa") );

for my $tweet (@{$res->{tweets}}) {
    print "$tweet->{body} $tweet->{when} (link: $tweet->{link})\n";
}