- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python多线程结合队列下载百度音乐的方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
本文实例讲述了Python多线程结合队列下载百度音乐的方法。分享给大家供大家参考。具体如下:
一直想做个下载音乐的脚本,后来决定就拿百度音乐开刀,经过多次分析,终于制作了一个下载百度音乐的脚本,目前只默认下载第一页,童鞋们可以自由拓展。 适用Windows和Linux平台、依赖BeautifulSoup这个库,主要对HTML进行解析 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
|
#!/usr/bin/python
# -*- coding: utf-8 -*-
'''
百度中批量下载某歌手的歌(目前只下载第一页,可以自行拓展)
@author:admin
@qq: 1243385033
'''
import
threading, urllib2, os,re,sys
from
bs4
import
BeautifulSoup
from
Queue
import
Queue
'''目标歌手'''
SINGER
=
u
'亚东'
'''保存路径'''
SAVE_FOLDER
=
'F:/music/'
# 查询url
search_url
=
"http://music.baidu.com/search/song?key=%s&s=1"
# 百度音乐播放盒url
song_url
=
"http://box.zhangmen.baidu.com/x?op=12&count=1&mtype=1&title="
class
Downloader(threading.Thread):
def
__init__(
self
, task):
threading.Thread.__init__(
self
)
self
.task
=
task
def
run(
self
):
'''覆盖父类的run方法'''
while
True
:
url
=
self
.task.get()
self
.download(url)
self
.task.task_done()
def
build_path(
self
, filename):
join
=
os.path.join
parentPath
=
join(SAVE_FOLDER,SINGER)
filename
=
filename
+
'.mp3'
myPath
=
join(parentPath, filename)
return
myPath
def
download(
self
, url):
'''下载文件'''
sub_url
=
url.items()
f_name
=
sub_url[
0
][
0
]
req_url
=
sub_url[
0
][
1
]
handle
=
urllib2.urlopen(req_url)
# 保存路径
save_path
=
self
.build_path(f_name)
with
open
(save_path,
"wb"
) as handler:
while
True
:
chunk
=
handle.read(
1024
)
if
not
chunk:
break
handler.write(chunk)
msg
=
u
"已经从 %s下载完成"
%
req_url
sys.stdout.write(msg)
sys.stdout.flush()
class
HttpRequest:
def
__init__(
self
):
self
.task
=
[]
self
.reg_decode
=
re.
compile
(
'<decode>.*?CDATA\[(.*?)\]].*?</decode>'
)
self
.reg_encode
=
re.
compile
(
'<encode>.*?CDATA\[(.*?)\]].*?</encode>'
)
self
.init()
self
.target_url
=
search_url
%
urllib2.quote(
self
.encode2utf8(SINGER))
def
encode2utf8(
self
,source):
if
source
and
isinstance
(source,(
str
,
unicode
)):
source
=
source.encode(
"utf8"
)
return
source
return
source
def
mkDir(
self
, dir_name):
if
not
os.path.exists(dir_name):
os.mkdir(dir_name)
def
init(
self
):
self
.mkDir(SAVE_FOLDER)
subPath
=
os.path.join(SAVE_FOLDER, SINGER)
self
.mkDir(subPath)
def
http_request(
self
):
global
song_url
'''发起请求'''
response
=
urllib2.urlopen(
self
.target_url)
# 获取头信息
content
=
response.read()
response.close()
# 使用BeautifulSoup
html
=
BeautifulSoup(content, from_encoding
=
"utf8"
)
# 提取HTML标签
span_tag
=
html.find_all(
'div'
, {
"monkey"
:
"song-list"
})[
0
].find_all(
'span'
,
class_
=
'song-title'
)
# 遍历List
for
a_tag
in
span_tag:
song_name
=
unicode
(a_tag.find_all(
"a"
)[
0
].get_text())
song_url
=
song_url
+
urllib2.quote(
self
.encode2utf8(song_name))
song_url
=
song_url
+
'$$'
+
urllib2.quote(
self
.encode2utf8(SINGER))
+
'$$$$&url=&listenreelect=0&.r=0.1696378872729838'
xmlfile
=
urllib2.urlopen(song_url)
xml_content
=
xmlfile.read()
xmlfile.close()
url1
=
re.findall(
self
.reg_encode, xml_content)
url2
=
re.findall(
self
.reg_decode, xml_content)
if
not
url1
or
not
url2:
continue
url
=
url1[
0
][:url1[
0
].rindex(
'/'
)
+
1
]
+
url2[
0
]
self
.task.append({song_name:url})
return
self
.task
def
start_download(urls):
#创建一个队列
quene
=
Queue()
#获取list的大小
size
=
len
(urls)
#开启线程
for
_
in
xrange
(size):
t
=
Downloader(quene)
t.setDaemon(
True
)
t.start()
#入队列
for
url
in
urls:
quene.put(url)
quene.join()
if
__name__
=
=
'__main__'
:
http
=
HttpRequest()
urls
=
http.http_request()
start_download(urls)
|
希望本文所述对大家的Python程序设计有所帮助.
最后此篇关于Python多线程结合队列下载百度音乐的方法的文章就讲到这里了,如果你想了解更多关于Python多线程结合队列下载百度音乐的方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我有一张 Excel 表格,用于更新玩家评分。 播放器 配售 初始化 1 2 3 4 金融评级 一个 1 2.0 1.000 0.018 0.016 0.014 2.007 D 2 -2.0 54.5
我有一个 map = std::map ,其中 myItemModel继承QAbstractItemModel . 我现在要合并所有 myItemModel合一myItemModel (其他所有元素模
我大量使用“do.call”来生成函数调用。例如: myfun <- "rnorm"; myargs <- list(n=10, mean=5); do.call(myfun, myargs); 但是
想象一下 InputStream 的以下变体: trait FutureInputStream { //read bytes asynchronously. Empty array means E
这是我的 C 代码: #include void sum(); int newAlphabet; int main(void) { sum();
我只是想选择类“.last”之后的每个元素。 HTML: 1 2 Jquery
我正在为一个项目构建一个 XML 反序列化器,我经常遇到这种类型的代码情况: var myVariable = ParseNDecimal(xml.Element("myElement")) == n
这是来自 Selecting the highest salary 的继续问题 假设有一个表 'wagetable' name lowhours highhours wage pri
我正在为我的程序创建一个战舰程序;该程序运行良好,但我试图确保当用户将坐标超出范围时,程序会说他们输入的坐标不正确。这是代码: #include #include void
我有一个函数,它为每种情况返回不同的 DWORD 值,如果出现错误。所以我有以下定义: #define ERR_NO_DB_CONNECTION 0x90000 #define ERR_DB_N
在派生类中引发基类事件以下简单示例演示了在基类中声明可从派生类引发的事件的标准方法。此模式广泛应用于 .NET Framework 类库中的 Windows 窗体类。在创建可用作其他类的基类的类时,应
我只是想知道这是否可能: use Modern::Perl; my @list = ('a' .. 'j'); map { func($_) } each(@list); sub func { m
我一直在使用 =IF(L2="","Active",IF(K2I2,"Late"))) 有效,但现在我需要检查 F 上的多个条件 专栏 我试过了 OR 函数 =IF(OR(F2="Scheduled"
我有 2 个命令,如下所示。 在视频中添加介绍图片 ffmpeg -y -loop 1 -framerate 10 -t 3 -i intro.png -i video.mp4 -filter_com
好的,我有这个公式可以根据名字和姓氏列表生成用户名。现在,虽然这可行,但我希望单元格改为引用我自己的 VBA 函数。但是,由于代码少得多,我仍然想使用原始公式。 我有这个公式: =SUBSTITUTE
我有两个 HAProxy 实例。两个实例都启用了统计信息并且工作正常。 我正在尝试将两个实例的统计信息合并为一个,以便我可以使用单个 HAProxy 来查看前端/后端统计信息。我试图让两个 hapro
我有一个 Observable,其中每个新值都应该引起一个 HTTP 请求。在客户端,我只关心最新的响应值;但是,我希望每个请求都能完成以进行监控/等。目的。 我目前拥有的是这样的: function
我的网站上有 TinyMCE 插件。在 TinyMCE 插件的 textarea 中添加图像时,我希望这些图像包含延迟加载。我网站的缩略图具有特定类型的延迟加载,其中 src 图像是灰色背景。根据用户
我希望合并润滑间隔,以便如果它们重叠,则从内部第一个时间获取最小值和从内部最后一个时间获取最大值并总结以创建一个跨越整个时间段的新间隔。这是一个reprex: library(lubridate, w
我有一个应用程序,它本质上是一个页眉、主要内容和一个始终可见的页脚。页脚可以改变大小,我想在页脚上方的主内容面板上放置一些工具。主要布局是用 flex 完成的,我阅读文档的理解是绝对定位通过相对于最近
我是一名优秀的程序员,十分优秀!