- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
本文实例讲述了Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能。分享给大家供大家参考,具体如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
|
import
re
from
selenium
import
webdriver
from
selenium.webdriver.common.by
import
By
from
selenium.webdriver.support.ui
import
WebDriverWait
from
selenium.webdriver.support
import
expected_conditions as EC
from
selenium.common.exceptions
import
TimeoutException
from
pyquery
import
PyQuery as pq
from
bs4
import
BeautifulSoup
from
pymongo
import
MongoClient
from
pymongo.errors
import
PyMongoError
url
=
'http://www.taobao.com'
KEYWORD
=
'美食'
# monogdb配置信息
MONGO_HOST
=
"localhost"
MONGO_DATABASE
=
"taobao"
MONGO_TABLE
=
"meishi"
client
=
MongoClient(host
=
MONGO_HOST)
db
=
client[MONGO_DATABASE]
# PhantomJS 命令行相关配置
# 参见 http://phantomjs.org/api/command-line.html
SERVICE_ARGS
=
[
'--disk-cache=true'
,
'--load-images=false'
]
# driver = webdriver.Chrome() # 有界面
driver
=
webdriver.PhantomJS(service_args
=
SERVICE_ARGS)
# 无界面
delay
=
10
wait
=
WebDriverWait(driver, delay)
# print('windows size', driver.get_window_size())
# PhantomJs()的浏览器窗口很小,宽高只有400 * 300
driver.maximize_window()
# 窗口最大化 # 对于PhantomJS来说设置窗口大小很关键,如果不设置,经常会出现问题
# driver.set_window_size(1920, 1080) # 设置浏览器窗口大小
# 模拟在淘宝网页中输入关键字搜索
def
search():
print
(
"准备搜索 %s"
%
KEYWORD)
try
:
driver.get(url)
input_box
=
wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR,
"input#q"
))
)
search_btn
=
wait.until(EC.element_to_be_clickable(
(By.CSS_SELECTOR,
'#J_TSearchForm > div.search-button > button'
)))
input_box.send_keys(KEYWORD)
search_btn.click()
total_page_str
=
wait.until(
EC.presence_of_element_located(
(By.CSS_SELECTOR,
'div.total'
))).text
total_page_num
=
int
(re.search(
"(\d+)"
, total_page_str).group(
1
))
item_list
=
get_goods_by_beautifulsoup()
save_to_mongodb(item_list)
return
total_page_num
except
TimeoutError:
print
(
"搜索%s超时"
, KEYWORD)
print
(
"重新尝试搜索: %s"
, KEYWORD)
search()
# 根据页码获取指定页数据,并将其保存到数据库中
def
get_page(page_num):
print
(
"正在获取第%d页数据"
%
page_num)
try
:
page_num_box
=
wait.until(
EC.presence_of_element_located(
(By.CSS_SELECTOR,
"div.form > input"
)))
ok_btn
=
wait.until(EC.element_to_be_clickable(
(By.CSS_SELECTOR,
'div.form > span.btn.J_Submit'
)))
page_num_box.clear()
page_num_box.send_keys(page_num)
ok_btn.click()
wait.until(
EC.text_to_be_present_in_element(
(By.CSS_SELECTOR,
'li.item.active > span.num'
),
str
(page_num)))
item_list
=
get_goods_by_beautifulsoup()
save_to_mongodb(item_list)
except
TimeoutException:
print
(
"请求第%d页失败"
%
page_num)
print
(
"尝试重新获取第%d页"
%
page_num)
return
get_page(page_num)
def
get_goods_by_pyquery():
'''
通过pyquery库解析数据
获取商品的图片url、价格、标题、成交量、店铺名称、店铺位置
'''
wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,
"#mainsrp-itemlist .items .item"
)))
html
=
driver.page_source
doc
=
pq(html)
items
=
list
(doc(
'#mainsrp-itemlist .items .item'
).items())
for
item
in
items:
yield
{
# 不要用src属性,获取的图片地址很多是.gif图片,而非真实商品图片,
'image'
:
'http://'
+
item.find(
'.J_ItemPic.img'
).attr(
'data-src'
),
'price'
: item.find(
'.price'
).text(),
'title'
: item.find(
'.row > .J_ClickStat'
).text().strip(),
'deal_cnt'
: item.find(
'.deal-cnt'
).text()[:
-
3
],
'shop'
: item.find(
'.shop'
).text(),
'location'
: item.find(
'.location'
).text(),
}
# 通过bs4解析数据
def
get_goods_by_beautifulsoup():
'''
通过bs4库解析数据
获取商品的图片url、价格、标题、成交量、店铺名称、店铺位置
'''
wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,
"#mainsrp-itemlist .items .item"
)))
html
=
driver.page_source
soup
=
BeautifulSoup(html,
'lxml'
)
items
=
soup.select(
'#mainsrp-itemlist .items .item'
)
for
item
in
items:
yield
{
'image'
:
'http:'
+
item.select(
'img.J_ItemPic.img'
)[
0
][
'data-src'
],
'price'
: item.select(
'div.price.g_price.g_price-highlight'
)[
0
].get_text(strip
=
True
),
'title'
: item.select(
'div.row.row-2.title > a.J_ClickStat'
)[
0
].get_text(strip
=
True
),
'deal_cnt'
: item.select(
'div.deal-cnt'
)[
0
].text[:
-
3
],
'shop'
: item.select(
'div.shop > a'
)[
0
].get_text(strip
=
True
),
'location'
: item.select(
'div.location'
)[
0
].text,
}
def
save_to_mongodb(item_list):
for
item
in
item_list:
try
:
db[MONGO_TABLE].insert(item)
# insert支持插入多条数据
print
(
"mongodb插入数据成功:"
, item)
except
PyMongoError as e:
print
(
"mongodb插入数据失败:"
, item, e)
# 获取淘宝美食的图片url、价格、标题、成交量、店铺名称、店铺位置并将结果保存在mongodb数据库中
if
__name__
=
=
'__main__'
:
try
:
total_pages
=
search()
for
page_num
in
range
(
2
, total_pages
+
1
):
get_page(page_num)
except
Exception as e:
print
(
"出错了"
, e)
finally
:
# 确保 浏览器能正常关闭
driver.close()
|
备注
PhantomJS无界面浏览器打开的窗口默认大小400*300, 往往不能将网页加载完全,会给提取数据造成很大的困难,因此需要指定窗口大小.
可以使用 maximize_window() 最大化窗口或者set_window_size()设置指定大小 。
可能会出现的异常
raise TimeoutException(message, screen, stacktrace) selenium.common.exceptions.TimeoutException: Message: Screenshot: available via screen 。
希望本文所述对大家Python程序设计有所帮助.
原文链接:http://www.cnblogs.com/hupeng1234/p/7117335.html 。
最后此篇关于Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例的文章就讲到这里了,如果你想了解更多关于Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
如本answer所述,如果浏览器不支持 e,可以设置后备游标。 G。 光标:抓取;。我现在的问题是获取这些图像。在我的驱动器上本地搜索“.cur”只给了我系统光标,其中 grab.cur 和 grab
以下代码在计算机上运行以从 Instagram 帐户中抓取数据。当我尝试在 VPS 服务器上使用它时,我被重定向到 Instagram 登录页面,因此脚本不起作用。 为什么当我在电脑上或服务器上时,I
我在使用 Ruby 和 Mechanize 将 POST 查询传递到站点的网站上。访问站点的查询基于 firebug,如下所示 param.PrdNo=-1¶m.Type=Prop¶m
我正在尝试抓取一个具有多个页面结果的网站,例如“1、2、3、4、5...”。 每个分页号都是到另一个页面的链接,我需要抓取每个页面。 到目前为止,我想出了这个: while lien = page.l
我正在使用 HtmlAgilityPack 在 C# Asp.Net 中执行 Scraping,到目前为止,我在从多个 Web 执行 Scratch 时没有遇到问题,但是,尝试弹出以下代码时出现错误
如果我有一个 css 文件做这样的事情 #foo:after{content:"bar;} ,有没有办法用 javascript 获取 :after 的内容?获取父元素的内容只返回 #foo 元素的内
问题是这样的: 我有一个 Web 应用程序 - 一个经常更改的通知系统 - 在一系列本地计算机上运行。该应用程序每隔几秒刷新一次以显示新信息。计算机仅显示信息,没有键盘或任何输入设备。 问题是,如果与
我想制作一个程序来模拟用户浏览网站和点击链接。必须启用 Cookie 和 javascript。我已经在 python 中成功地做到了这一点,但我想把它写成一种可编译的语言(python ide 不会
我制作了这个小机器人,它通过搜索参数列表进行处理。它工作正常,直到页面上有几个结果: product_prices_euros 给出了一半为空的项目列表。因此,当我与 product_prices_c
我需要找到一个单词的匹配项,例如: 在网上找到所有单词“学习”https://www.georgetown.edu/(结果:4个字)(您可以看到它按CTRL + F并搜索) 我有我的 Python 代
有一个站点\资源提供一些一般统计信息以及搜索工具的界面。这种搜索操作成本高昂,因此我想限制频繁且连续(即自动)的搜索请求(来自人,而不是来自搜索引擎)。 我相信有很多现有的技术和框架可以执行一些情报抓
这并不是真正的抓取,我只是想在网页中找到类具有特定值的 URL。例如: 我想获取 href 值。关于如何做到这一点的任何想法?也许正则表达式?你能发布一些示例代码吗?我猜 html 抓取库,比如 B
我正在使用 scrapy。 我正在使用的网站具有无限滚动功能。 该网站有很多帖子,但我只抓取了 13 个。 如何抓取剩余的帖子? 这是我的代码: class exampleSpider(scrapy.
我正在尝试从这个 website 中抓取图像和新闻 url .我定义的标签是 root_tag=["div", {"class":"ngp_col ngp_col-bottom-gutter-2 ng
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭上个月。 Improve this ques
我在几个文件夹中有数千个 html 文件,我想从评论中提取数据并将其放入 csv 文件中。这将允许我为项目格式化和清理它。例如,我在这个文件夹中有 640 个 html 文件: D:\My Web S
我在编写用于抓取网页的实用程序时遇到了一个问题。 我正在发送 POST 请求来检索数据,我模仿我正在抓取的网络行为(根据使用 fiddler 收集的信息)。 我已经能够自动替换我的 POST 中除 V
对于 Googlebot 的 AJAX 抓取,我在我的网站中使用“_escaped_fragment_”参数。 现在我查看了 Yandex 对我网站的搜索结果。 我看到搜索结果中不存在 AJAX 响应
我正在尝试抓取网站的所有结果页面,它可以工作,但有时脚本会停止并显示此错误: 502 => Net::HTTPBadGateway for https://website.com/id/12/ --
我是一个学习网络爬虫的初学者,由于某种原因我无法爬网this地点。当我在 Chrome 中检查它时,代码看起来不错,但是当我用 BeautifulSoup 阅读它时,它不再是可刮的。汤提到“谷歌分析”
我是一名优秀的程序员,十分优秀!