- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python网络爬虫项目:内容提取器的定义由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
1. 项目背景 。
在python 即时网络爬虫项目启动说明中我们讨论一个数字:程序员浪费在调测内容提取规则上的时间,从而我们发起了这个项目,把程序员从繁琐的调测规则中解放出来,投入到更高端的数据处理工作中.
2. 解决方案 。
为了解决这个问题,我们把影响通用性和工作效率的提取器隔离出来,描述了如下的数据处理流程图:
图中“可插拔提取器”必须很强的模块化,那么关键的接口有
3. 提取器代码 。
可插拔提取器是即时网络爬虫项目的核心组件,定义成一个类: gsExtractor 。
python源代码文件及其说明文档请从 github 下载 。
使用模式是这样的:
下面是这个gsExtractor类的源代码 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
#!/usr/bin/python
# -*- coding: utf-8 -*-
# 模块名: gooseeker
# 类名: gsExtractor
# Version: 2.0
# 说明: html内容提取器
# 功能: 使用xslt作为模板,快速提取HTML DOM中的内容。
# released by 集搜客(http://www.gooseeker.com) on May 18, 2016
# github: https://github.com/FullerHua/jisou/core/gooseeker.py
from
urllib
import
request
from
urllib.parse
import
quote
from
lxml
import
etree
import
time
class
gsExtractor(
object
):
def
_init_(
self
):
self
.xslt
=
""
# 从文件读取xslt
def
setXsltFromFile(
self
, xsltFilePath):
file
=
open
(xsltFilePath ,
'r'
, encoding
=
'UTF-8'
)
try
:
self
.xslt
=
file
.read()
finally
:
file
.close()
# 从字符串获得xslt
def
setXsltFromMem(
self
, xsltStr):
self
.xslt
=
xsltStr
# 通过GooSeeker API接口获得xslt
def
setXsltFromAPI(
self
, APIKey , theme, middle
=
None
, bname
=
None
):
apiurl
=
"http://www.gooseeker.com/api/getextractor?key="
+
APIKey
+
"&theme="
+
quote(theme)
if
(middle):
apiurl
=
apiurl
+
"&middle="
+
quote(middle)
if
(bname):
apiurl
=
apiurl
+
"&bname="
+
quote(bname)
apiconn
=
request.urlopen(apiurl)
self
.xslt
=
apiconn.read()
# 返回当前xslt
def
getXslt(
self
):
return
self
.xslt
# 提取方法,入参是一个HTML DOM对象,返回是提取结果
def
extract(
self
, html):
xslt_root
=
etree.XML(
self
.xslt)
transform
=
etree.XSLT(xslt_root)
result_tree
=
transform(html)
return
result_tree
|
4. 用法示例 下面是一个示例程序,演示怎样使用gsExtractor类提取GooSeeker官网的bbs帖子列表。本示例有如下特征 。
下面是源代码,都可从 github 下载 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#-*_coding:utf8-*-
# 使用gsExtractor类的示例程序
# 访问集搜客论坛,以xslt为模板提取论坛内容
# xslt保存在xslt_bbs.xml中
from
urllib
import
request
from
lxml
import
etree
from
gooseeker
import
gsExtractor
# 访问并读取网页内容
url
=
"http://www.gooseeker.com/cn/forum/7"
conn
=
request.urlopen(url)
doc
=
etree.HTML(conn.read())
# 生成xsltExtractor对象
bbsExtra
=
gsExtractor()
# 调用set方法设置xslt内容
bbsExtra.setXsltFromFile(
"xslt_bbs.xml"
)
# 调用extract方法提取所需内容
result
=
bbsExtra.extract(doc)
# 显示提取结果
print
(
str
(result))
|
提取结果如下图所示:
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我.
最后此篇关于Python网络爬虫项目:内容提取器的定义的文章就讲到这里了,如果你想了解更多关于Python网络爬虫项目:内容提取器的定义的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我正在为我的按钮使用 onClick 功能。我的按钮代码如下所示: Button 1 Button 2 我的 JS 函数如下所示: function fadeNext(selectedId, spee
首先,我想提一下,我理解每个人在不提供至少一些试验或错误的情况下提出问题的感受,但这纯粹是一种知识需求,话虽如此,我会去提前问。 我一直无法弄清楚如何将保存在 MySQL 表中的 600-1000 个
我想做的事情有点令人困惑,而且我英语不太好,所以我先把代码贴在这里,这样你就可以很容易地理解: 以下是表单内容: Testing for Stackoverflow Option1
我学习 SDL 二维编程已有一段时间了,现在我想创建一个结合使用 SDL 和 OpenGL 的程序。我是这样设置的: SDL_Init(SDL_INIT_VIDEO); window = SDL_Cr
我创建了 2 个 data-* 标签。数据类别和数据标签。单击 href 标签后,我想复制该数据类别和数据标签以形成输入。我的代码是:
我想用 CSS 换行。我正在使用内容。 td:before { content: "Test\A Test2"; } 它不工作。如何正确
这个问题已经有答案了: Java Class that implements Map and keeps insertion order? (8 个回答) 已关闭 6 年前。 我有一个 HashMap
我正在尝试使用 JMeter 执行端到端测试。测试涉及写入SFTP文件夹并从另一个SFTP文件夹读取写入操作生成的文件。 我能够使用 JMeter SSH SFTP 插件连接到 SFTP 文件夹,并能
您好,我有带有标准服务器端 Servlet 的 GWT 客户端。 我可以从 GWT 客户端上传文件并在服务器端读取其内容 我可以将其作为字符串发送回客户端 但是 我有 GWT FormPanel与操作
我在 Plone 4.3.9 中创建了一个自定义类型的灵巧性,称为 PersonalPage,必须只允许在特定文件夹中使用 成员文件夹/用户文件夹 . 在他的 FTI 中,默认情况下 False .
在新(更新)版本的应用程序中更改小部件布局的最佳做法是什么?当新版本提供更新、更好的小部件时,如何处理现有小部件? 最佳答案 我认为您必须向用户显示一个弹出窗口,说明“此版本中的新功能”并要求他们重新
在我的应用程序中,我使用支持 View 寻呼机和 PagerTabStrip。进入查看寻呼机我有一些 fragment ,进入其中一个我正在使用支持卡片 View 。运行应用程序后,所有卡片 View
我有以下布局文件。基本上我有谷歌地图,在左上角我有一个 TextView,我需要在其中每 15 秒保持一次计数器以刷新 map 。布局很好。
我使用如下结构: HashMap > > OverallMap 如果我这样做: OverallMap . clear ( ) clear() 丢弃的所有内容(HashMap 对象、Integer 对
我在数据库中有 1000 张图像。在页面加载时,我随机显示 60 张图片,当用户滚动时,我通过 AJAX 请求添加 20 张图片。 第一种方法 我所做的是将所有图像加载到一个容器中,然后隐藏所有图像并
我正在使用 woocommerce 创建一个网上商店。 我想在每个产品上添加一个包含产品信息的表格,例如颜色、交货时间等等。 但是当我添加这张表时。本产品消失后的所有内容。 我的表的代码: td {
This question already has an answer here: What does an empty value for the CSS property content do?
因此,我正在与我的 friend 一起为 Google Chrome 开发一个扩展程序,对于大多数功能(即日历、设置等),我们打开一个模式,这样我们就不必重定向到另一个页面。当您在内容之外单击时,我们
我将可变高度的 CSS 框设置为在更大的 div 中向左浮动。现在我想添加一个标题,其中文本在框的左侧垂直显示(旋转 90 度),如下面的链接所示(抱歉还不能发布图片)。 http://imagesh
相关页面位于 www.codykrauskopf.com/circus 如果您查看我页面的右侧,在半透明容器和浏览器窗口边缘之间有一个间隙。我看了看,出于某种原因,wrap、main、content
我是一名优秀的程序员,十分优秀!