个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
35
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python爬取商家联系电话以及各种数据的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
上次学会了爬取图片，这次就想着试试爬取商家的联系电话，当然，这里纯属个人技术学习，爬取过后及时删除，不得用于其它违法用途，一切后果自负.
首先我学习时用的是114黄页数据.
下面四个是用到的模块，前面2个需要安装一下，后面2个是python自带的.
|
1
2
3
4
|
import
requests
from
bs4
import
beautifulsoup
import
csv
import
time
|
然后，写个函数获取到页面种想要的数据，记得最后的return返回一下，因为下面的函数要到把数据写到csv里面.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
def
get_content(url,data
=
none):
header
=
{
'accept'
:
'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'
,
'accept-encoding'
:
'gzip, deflate'
,
'accept-language'
:
'zh-cn,zh;q=0.8'
,
'user-agent'
:
'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/59.0.3071.104 safari/537.36'
,
}
r
=
requests.get(url, headers
=
header)
soup
=
beautifulsoup(r.content,
'html.parser'
)
data
=
soup.body.find(
'div'
,{
'id'
:
'news_con'
})
ul
=
data.find(
'ul'
)
lis
=
ul.find_all(
'li'
)
pthons
=
[]
for
item
in
lis:
rows
=
[]
name
=
item.find(
'h4'
).string
rows.append(name)
tel
=
item.find_all(
"div"
)[
2
].string
rows.append(tel)
pthons.append(rows)
time.sleep(
1
)
return
pthons
|
接着：把数据写到表格里面。我这里用到的是csv,方便阅览.
|
1
2
3
4
5
6
7
|
def
write_data(data,name):
file_name
=
name
with
open
(file_name,
"w"
, newline
=
'') as csvfile:
writer
=
csv.writer(csvfile)
writer.writerow([
"商铺名称"
,
"联系电话"
])
writer.writerows(data)
print
(
'抓取完成'
)
|
最后就是执行这些函数:
|
1
2
3
4
|
if
__name__
=
=
'__main__'
:
url
=
'http://ty.114chn.com/customerinfo/customers?cid=008004008&page=2'
mydata
=
get_content(url)
write_data(mydata,
'phone.csv'
)
|
在这里我想到应该把url写成动态的，因为这里面有页数。让page写成循环自动+1，当然，可以在网页看到一共多少页。写个循环执行。就更完美了.
以上这篇python爬取商家联系电话以及各种数据的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/well2049/article/details/79115115 。
最后此篇关于Python爬取商家联系电话以及各种数据的方法的文章就讲到这里了,如果你想了解更多关于Python爬取商家联系电话以及各种数据的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
35
4
0
我有一个包含姓名、电子邮件和内容文本区域的表单。一切正常，但当我尝试为手机号码添加 1 个表单输入时，表单不会提交。 Javascript: function hgsubmit() { i
所以我正试图在 Scheme 中找出整个 call/cc 的东西。下面是我正在使用的代码: (+ 1 (call/cc (lambda (k) (if (number? k)
所以我正试图在 Scheme 中找出整个 call/cc 的东西。下面是我正在使用的代码: (+ 1 (call/cc (lambda (k) (if (number? k)
我在 list 中有权限: 检查电话是否正在使用的代码可能会为无法接听电话的平板电脑等设备启动安全异常。所以，我制作了这个方法来检查是否设备可以使用 TelephonyManager: priva
我想知道 facebook API 允许 PHP 网页提取以下用户数据的先决条件是什么: 姓名 电子邮件 电话 据我了解，提取电话号码需要您的网站在 facebook/Websense 的白名单中吗？
我如何从我的应用程序调用特定号码的电话？给我一些执行此任务的逻辑或代码... 最佳答案 使用 UIApplication 的 openURL: 方法: [[UIApplication sharedAp
在 URI 中，空格可以编码为 + .既然如此，那么在创建具有国际前缀的 tel URI 时是否应该对前导加号进行编码？ 哪个更好？两者在实践中都有效吗？ Call me Call me 最佳答案 不
我正在尝试使用 Insomnia 调用 SOAP 电话 - 特别是试图让帖子成功。我将 URL 定义为端点，并将正文类型作为带有 SOAP 内容(信封、标题、正文)的 XML。我在标题中定义了用户 I
服务器有没有办法将一些数据无线无缝地推送到客户端，可能是 Windows(电话)、iPhone、Mac 或 Android 设备，没有任何操作系统集成？ 如果是这样，最好的设计模式是什么，最好的技术是
我有一个搜索字段，我希望用户能够通过电话或电子邮件进行搜索。但是，我的 onclick 事件没有触发。我已经尝试过控制台工具，但似乎无法通过那里进行调试。 {% from "_form
如果重新加载接收调用的浏览器窗口，我将面临实时 Twilio 调用被丢弃的情况。有没有办法在不影响实时通话的情况下克服这种挫折？ 最佳答案 Twilio 布道者在这里。 根据您的问题，我假设您使用的是
我试图在我的服务中减少我的 promise 对象。我有类似的东西 angular.module('myApp').service('testService', ['Employees','$q',
我想在我的java应用程序中构建一个电话调用器。为此，我使用了 JAIN-SIP 库。第一次 INVITE 后，系统需要代理身份验证。第二个邀请是在“AuthenticationHelperImpl.
两天前我正在开发一个 VOIP 应用程序，并成功地使用 Sinch 实现了一个普通的应用程序到应用程序调用。 .该应用程序运行良好。当我开始时，我在他们的文档中看到他们支持电话 session 。 现
我正在尝试创建一个 java 程序，它将创建 excel 文件并将其上传到谷歌驱动器中。上传后我需要它来授予权限。我已经完成了所有这些，但问题在于尝试将 excel 文件转换为 google 文件，以
我想使用 Android Sip 进行电话 session .那可能吗？有人可以举一个有效的例子吗？使用该库是否有任何限制，比如它可以在 3G 或 4G 上工作？ 最佳答案 当前的 Android S
是否可以通过编程方式在 android 中接听电话？ 我发现有些地方不可能，但后来安装了应用程序 https://play.google.com/store/apps/details?id=com.a
我试图在单击导航中的某个按钮后将一个类附加到 div。 $navButtons.on('click', navigationClick); // liseten to the navigation a
在 Monotouch 中是否有任何方法可以读取电话或调用者服务的当前状态？ 我正在尝试寻找某种方式来读取通话是否处于事件状态或通话是否处于等待状态等。 用谷歌搜索没有找到任何结果。 希望运行一些代码
我可能正在搜索错误的内容，这可能解释了为什么我只能找到有关设置密码自动填充的信息。 我正在寻找用户能够在应用程序中输入电子邮件、电话、名字和姓氏的功能，就像某些网站能够做到的那样，选项出现在键盘上方。
我是一名优秀的程序员,十分优秀！