个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
26
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章详解使用python爬取抖音app视频(appium可以操控手机)由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
记录一下如何用python爬取app数据，本文以爬取抖音视频app为例.
编程工具：pycharm 。
app抓包工具：mitmproxy 。
app自动化工具：appium 。
运行环境：windows10 。
假设已经配置好我们所需要的工具 。
1、使用mitmproxy对手机app抓包获取我们想要的内容 。
2、利用appium自动化测试工具，驱动app模拟人的动作（滑动、点击等） 。
3、将1和2相结合达到自动化爬虫的效果 。
确保已经安装好了mitmproxy，并且手机和pc处于同一个局域网下，同时也配置好了mitmproxy的ca证书，网上有很多相关的配置教程，这里我就略过了.
因为mitmproxy不支持windows系统，所以这里用的是它的组件之一mitmdump，它是mitmproxy的命令行接口，可以利用它对接我们的python脚本，用python实现监听后的处理.
在配置好mitmproxy之后,在控制台上输入mitmdump并在手机上打开抖音app，mitmdump会呈现手机上的所有请求，如下图 。
可以在抖音app一直往下滑，看mitmdump所展示的请求，会发现前缀分别为 。
http://v1-dy.ixigua.com/；http://v3-dy.ixigua.com/；http://v9-dy.ixigua.com/ 。
这3个类型前缀的url正是我们的目标抖音视频url.
那接下来就要编写python脚本将视频下载下来，需要使用 mitmdump -s scripts.py（此处为python文件名）来执行脚本.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
import
requests
# 文件路径
path
=
'd:/video/'
num
=
1788
def
response(flow):
global
num
# 经测试发现视频url前缀主要是3个
target_urls
=
[
'http://v1-dy.ixigua.com/'
,
'http://v9-dy.ixigua.com/'
,
'http://v3-dy.ixigua.com/'
]
for
url
in
target_urls:
# 过滤掉不需要的url
if
flow.request.url.startswith(url):
# 设置视频名
filename
=
path
+
str
(num)
+
'.mp4'
# 使用request获取视频url的内容
# stream=true作用是推迟下载响应体直到访问response.content属性
res
=
requests.get(flow.request.url, stream
=
true)
# 将视频写入文件夹
with
open
(filename,
'ab'
) as f:
f.write(res.content)
f.flush()
print
(filename
+
'下载完成'
)
num
+
=
1
|
代码写得比较粗糙，不过基本的逻辑还是比较清晰的，这样我们就可以把抖音的视频下载下来，不过这个方法有个缺陷，就是获取视频需要人来不断地滑动抖音的下一个视频，这时候我们可以用一个强大的appium自动化测试工具来解决.
确保已经配置好appium所依赖的环境android和sdk，网上也有许多教程，这里我就不说了.
appium的用法很简单，首先我们先打开appium，启动界面如下 。
点击start server按钮即可启动appium服务 。
将android手机通过数据线与pc相连，同时打开use调试功能，可以输入adb命令（具体可以去网上查找）测试连接情况，若出现以下结果，则说明连接成功 。
model是设备名，后面配置需要用到。之后点击下图箭头所指的按钮就会出现一个配置页面 。
在右下角的json representation配置启动app的desired capabilities参数，分别是paltformname、devicename、apppackage、appactivity.
platformname:平台名称，一般是android或ios. 。
devicename:设备名称，手机的具体类型 。
apppackage:app程序包名 。
appactivity:入口activity名，通常以.开头 。
platformname和devicename比较容易获得，而apppackage和appactivity这两个可以通过以下方法获取到.
在控制台上输入 adb logcat>d:\log.log 命令，并且在手机打开抖音app，然后在d盘中打开log.log文件，查找displayed关键字 。
由上图可以知道displayed后面的 com.ss.android.ugc.aweme对应的是apppackage，.main.mainactivity对应的是appactivity，最后我们的配置结果如下:
|
1
2
3
4
5
6
|
{
"platformname"
:
"android"
,
"devicename"
:
"mi_note_3"
,
"apppackage"
:
"com.ss.android.ugc.aweme"
,
"appactivity"
:
".main.mainactivity"
}
|
再点击start session即可启动android手机上的抖音app并进入到启动页面，同时pc上会弹出一个调试窗口，从这个窗口可以预览当前手机页面，还可以对手机模拟各种操作，在本文不是重点，所以略过.
在下面我们将使用python脚本来驱动app，直接在pycharm运行即可 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
from
appium
import
webdriver
from
time
import
sleep
class
action():
def
__init__(
self
):
# 初始化配置，设置desired capabilities参数
self
.desired_caps
=
{
"platformname"
:
"android"
,
"devicename"
:
"mi_note_3"
,
"apppackage"
:
"com.ss.android.ugc.aweme"
,
"appactivity"
:
".main.mainactivity"
}
# 指定appium server
self
.server
=
'http://localhost:4723/wd/hub'
# 新建一个session
self
.driver
=
webdriver.remote(
self
.server,
self
.desired_caps)
# 设置滑动初始坐标和滑动距离
self
.start_x
=
500
self
.start_y
=
1500
self
.distance
=
1300
def
comments(
self
):
sleep(
2
)
# app开启之后点击一次屏幕，确保页面的展示
self
.driver.tap([(
500
,
1200
)],
500
)
def
scroll(
self
):
# 无限滑动
while
true:
# 模拟滑动
self
.driver.swipe(
self
.start_x,
self
.start_y,
self
.start_x,
self
.start_y
-
self
.distance)
# 设置延时等待
sleep(
2
)
def
main(
self
):
self
.comments()
self
.scroll()
if
__name__
=
=
'__main__'
:
action
=
action()
action.main()
|
下面是爬虫的过程。ps:偶尔会爬取到重复的视频 。
到此这篇关于详解使用python爬取抖音app视频(appium可以操控手机)的文章就介绍到这了,更多相关python爬取抖音app视频内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://blog.csdn.net/mp624183768/article/details/80956368 。
最后此篇关于详解使用python爬取抖音app视频(appium可以操控手机)的文章就讲到这里了,如果你想了解更多关于详解使用python爬取抖音app视频(appium可以操控手机)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
26
4
0
我正在处理一组标记为 160 个组的 173k 点。我想通过合并最接近的(到 9 或 10 个组)来减少组/集群的数量。我搜索过 sklearn 或类似的库，但没有成功。 我猜它只是通过 knn 聚类
我有一个扁平数字列表，这些数字逻辑上以 3 为一组，其中每个三元组是 (number, __ignored, flag[0 or 1])，例如: [7,56,1, 8,0,0, 2,0,0, 6,1,
我正在使用 pipenv 来管理我的包。我想编写一个 python 脚本来调用另一个使用不同虚拟环境(VE)的 python 脚本。 如何运行使用 VE1 的 python 脚本 1 并调用另一个 p
假设我有一个文件 script.py 位于 path = "foo/bar/script.py"。我正在寻找一种在 Python 中通过函数 execute_script() 从我的主要 Python
这听起来像是谜语或笑话，但实际上我还没有找到这个问题的答案。 问题到底是什么？ 我想运行 2 个脚本。在第一个脚本中，我调用另一个脚本，但我希望它们继续并行，而不是在两个单独的线程中。主要是我不希望第
我有一个带有 python 2.5.5 的软件。我想发送一个命令，该命令将在 python 2.7.5 中启动一个脚本，然后继续执行该脚本。 我试过用 #!python2.7.5 和http://re
我在 python 命令行(使用 python 2.7)中，并尝试运行 Python 脚本。我的操作系统是 Windows 7。我已将我的目录设置为包含我所有脚本的文件夹，使用: os.chdir("
剧透:部分解决(见最后)。 以下是使用 Python 嵌入的代码示例: #include int main(int argc, char** argv) { Py_SetPythonHome
假设我有以下列表，对应于及时的股票价格: prices = [1, 3, 7, 10, 9, 8, 5, 3, 6, 8, 12, 9, 6, 10, 13, 8, 4, 11] 我想确定以下总体上最
所以我试图在选择某个单选按钮时更改此框架的背景。 我的框架位于一个类中，并且单选按钮的功能位于该类之外。 (这样我就可以在所有其他框架上调用它们。) 问题是每当我选择单选按钮时都会出现以下错误: co
我正在尝试将字符串与 python 中的正则表达式进行比较，如下所示， #!/usr/bin/env python3 import re str1 = "Expecting property name
考虑以下原型(prototype) Boost.Python 模块，该模块从单独的 C++ 头文件中引入类“D”。 /* file: a/b.cpp */ BOOST_PYTHON_MODULE(c)
如何编写一个程序来“识别函数调用的行号？” python 检查模块提供了定位行号的选项，但是， def di(): return inspect.currentframe().f_back.f_l
我已经使用 macports 安装了 Python 2.7，并且由于我的 $PATH 变量，这就是我输入 $ python 时得到的变量。然而，virtualenv 默认使用 Python 2.6，除
我只想问如何加快 python 上的 re.search 速度。 我有一个很长的字符串行，长度为 176861(即带有一些符号的字母数字字符)，我使用此函数测试了该行以进行研究: def getExe
list1= [u'%app%%General%%Council%', u'%people%', u'%people%%Regional%%Council%%Mandate%', u'%ppp%%Ge
这个问题在这里已经有了答案: Is it Pythonic to use list comprehensions for just side effects? (7 个答案) 关闭 4 个月前。 告
我想用 Python 将两个列表组合成一个列表，方法如下: a = [1,1,1,2,2,2,3,3,3,3] b= ["Sun", "is", "bright", "June","and" ,"Ju
我正在运行带有最新 Boost 发行版 (1.55.0) 的 Mac OS X 10.8.4 (Darwin 12.4.0)。我正在按照说明 here构建包含在我的发行版中的教程 Boost-Pyth
学习 Python，我正在尝试制作一个没有任何第 3 方库的网络抓取工具，这样过程对我来说并没有简化，而且我知道我在做什么。我浏览了一些在线资源，但所有这些都让我对某些事情感到困惑。 html 看起来
我是一名优秀的程序员,十分优秀！