gpt4 book ai didi

ruby-on-rails - 如何从网站/博客中提取文章内容

转载 作者:数据小太阳 更新时间:2023-10-29 08:03:43 28 4
gpt4 key购买 nike

我正在尝试编写一个通用函数,用于从博客文章和网站中提取文章文本。

一些我希望能够处理的简化示例:

随机网站:

...
<div class="readAreaBox" id="readAreaBox">
<h1 itemprop="headline">title</h1>
<div class="chapter_update_time">time</div>
<div class="p" id="chapterContent">article text</div>
</div>
...

WordPress的:

<div id="main" class="site-main">
<div id="primary" class="site-content" role="main">
<div id="content" class="site-content" role="main">
<article id="post-1234" class="post-1234 post type-post">
<div class="entry-meta clear">..</div>
<h1 class="entry-title">title</h1>
<div class="entry-content clear">
article content
<div id="jp-post-flair" class="sharedaddy">sharing links</div>
</div>
</article>
</div>
</div>
</div>

博客点:

<div id="content">
...
<div class="main" id="main">
<div class="post hentry">
<h3 class="post-title">title</h3>
<div class="post-header">...</div>
<div class="post-body">article content</div>
<div class="post-footer">...</div>
</div>
</div>
</div>

我想到了什么(doc 是一个 Nokogiri::HTML::Document):

def fetch_content
html = ''
['#content', '#main', 'article', '.post-body', '.entry-content', '#chapterContent'].each do |css|
candidate = doc.css(css).to_html
html = [html, candidate].select(&:present?).sort_by(&:length).first
end
self.content = html
end

对于我测试过的示例来说,它工作得相对较好,但它仍然会留下一些共享和导航链接,而且如果页面使用更隐蔽的类名,它也不会工作。

有更好的方法吗?

最佳答案

有一个名为 pismo 的 gem它实现了几个尝试提取文章内容的算法。

有一个java库boilerpipe您可以从 JRuby 中提取网页的文本内容。

关于ruby-on-rails - 如何从网站/博客中提取文章内容,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29874809/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com