个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python使用urllib2模块抓取HTML页面资源的实例分享由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
先把要抓取的网络地址列在单独的list文件中 。
|
1
2
3
4
|
http://www.zzvips.com/article/83440.html
http://www.zzvips.com/article/83437.html
http://www.zzvips.com/article/83430.html
http://www.zzvips.com/article/83449.html
|
然后我们来看程序操作，代码如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
#!/usr/bin/python
import
os
import
sys
import
urllib2
import
re
def
Cdown_data(fileurl, fpath, dpath):
if
not
os.path.exists(dpath):
os.makedirs(dpath)
try
:
getfile
=
urllib2.urlopen(fileurl)
data
=
getfile.read()
f
=
open
(fpath,
'w'
)
f.write(data)
f.close()
except
:
print
with
open
(
'u1.list'
) as lines:
for
line
in
lines:
URI
=
line.strip()
if
'?'
and
'%'
in
URI:
continue
elif
URI.count(
'/'
)
=
=
2
:
continue
elif
URI.count(
'/'
) >
2
:
#print URI,URI.count('/')
try
:
dirpath
=
URI.rpartition(
'/'
)[
0
].split(
'//'
)[
1
]
#filepath = URI.split('//')[1].split('/')[1]
filepath
=
URI.split(
'//'
)[
1
]
if
filepath:
print
URI,filepath,dirpath
Cdown_data(URI, filepath, dirpath)
except
:
print
URI,
'error'
|
原文链接：http://www.diyoms.com/python/1806.html 。
最后此篇关于Python使用urllib2模块抓取HTML页面资源的实例分享的文章就讲到这里了,如果你想了解更多关于Python使用urllib2模块抓取HTML页面资源的实例分享的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
有人告诉我，如果我只有一个“东西”，比如家(不是多个家)，我应该在 routes.rb 中使用资源 :home，而不是资源 :home。但是当我查看路由时，POST 函数似乎想要 home#creat
Activity 开始。这些代码框架顺利通过。 // Initialize array adapters. One for already paired devices and //
资源 search-hadoop.com search-hadoop.com索引所有邮件列表，非常适合历史搜索。当你遇到问题时首先在这里搜索，因为很可能有人已经遇到了你的问题。 邮件列表 在A
我是 WPF 的新手，正在努力使用位于单独程序集中的样式。这就是我正在做的:- 我有一个带有\Themes 文件夹的类库项目，其中包含一个“generic.xaml”，它合并了\Themes 内的子文
我正在编写一个使用虚拟树状文件结构的插件。基本上它就像一个包含文件的标准文件系统，区别在于这些文件实际上并不存在于文件系统中的特定位置，而只是 java 对象。 这些当前由使用 SettingProv
如果我在 XAML 中使用以下内容，我会收到错误消息: 错
我正在使用 laravel 资源来获取 api 的数据: return [ 'id' => $this->id, 'unread' =>
我有以下 pom.xml: 4.0.0 mycompany resource-fail 0.0.1-SNAPSHOT BazBat
许多GDI +类都实现IDisposable，但是我不确定何时应该调用Dispose。对于使用new或静态方法(例如Graphics.CreateGraphics)创建的实例来说，这很明显。但是，由属
我正在构建一组 RESTful 资源，其工作方式如下:(我将使用“people”作为示例): 获取/people/{key} - 返回一个人对象 (JSON) GET/people?first_nam
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的，因为
我有一个使用 $resource 的简单 Controller : var Regions = $resource('mocks/regions.json'); $scope.regions =
在 Azure 门户中，如何查看不同资源之间的依赖关系。我特别想查看哪些资源正在使用我要删除的存储。 最佳答案 您可以使用应用程序洞察应用程序 map 来执行此操作: 您还可以打开存储帐户的日志记录:
我正在使用 ionic 生成资源(图标和启动画面)。我正在使用 ionic v2.1.0 和 cordova v6.4.0。 到目前为止我一直在使用(它在以前的版本中工作): cordova plat
是否可以使用 Assets 包含子文件夹中的文件？ 示例:[base_url]/assets/css/pepper-grinder/jquery-ui-1.8.11.custom.min.css 最佳
我正在阅读一些尝试教授 Android 开发的书。在书中，作者概述了 res/下的一些目录。他提到 res/menu 包含基于 XML 的菜单规范。他还提到了保存“通用文件”的 res/raw。当我创
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 . 已关闭 9 年前。 Improv
我在服务器上使用 express-resource。在我的 AngularJS Controller 中: var User = $resource('/services/users/:use
因此，每当我运行我的应用程序时，它都会立即崩溃并给出以下错误: No package identifier when getting value for resource number 0x00000
对于我正在创建的(网络)应用程序，我需要使用基本身份验证在我的 UIWebView 中加载页面。 现在设置我使用的授权 header : NSString *result = [NSString st
我是一名优秀的程序员,十分优秀！