个人中心
gpt4 book ai didi

Pyinstaller打包Scrapy项目的实现步骤

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 26 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Pyinstaller打包Scrapy项目的实现步骤由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1.安装pyinstaller 。

2.安装pywin32  。

3.安装其他模块 。

注意点

scrapy用pyinstaller打包不能用 。

?
1
cmdline.execute( 'scrapy crawl douban -o test.csv --nolog' .split())

我用的是CrawlerProcess方式来输出 。

举个栗子:

1、在scrapy项目根目录下建一个crawl.py(你可以自己定义)如下图 。

Pyinstaller打包Scrapy项目的实现步骤

cralw.py代码如下 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
# -*- coding: utf-8 -*-
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from douban.spiders.douban_spider import Douban_spider
 
#打包需要的import
import urllib.robotparser
import scrapy.spiderloader
import scrapy.statscollectors
import scrapy.logformatter
import scrapy.dupefilters
import scrapy.squeues
import scrapy.extensions.spiderstate
import scrapy.extensions.corestats
import scrapy.extensions.telnet
import scrapy.extensions.logstats
import scrapy.extensions.memusage
import scrapy.extensions.memdebug
import scrapy.extensions.feedexport
import scrapy.extensions.closespider
import scrapy.extensions.debug
import scrapy.extensions.httpcache
import scrapy.extensions.statsmailer
import scrapy.extensions.throttle
import scrapy.core.scheduler
import scrapy.core.engine
import scrapy.core.scraper
import scrapy.core.spidermw
import scrapy.core.downloader
import scrapy.downloadermiddlewares.stats
import scrapy.downloadermiddlewares.httpcache
import scrapy.downloadermiddlewares.cookies
import scrapy.downloadermiddlewares.useragent
import scrapy.downloadermiddlewares.httpproxy
import scrapy.downloadermiddlewares.ajaxcrawl
import scrapy.downloadermiddlewares.chunked
import scrapy.downloadermiddlewares.decompression
import scrapy.downloadermiddlewares.defaultheaders
import scrapy.downloadermiddlewares.downloadtimeout
import scrapy.downloadermiddlewares.httpauth
import scrapy.downloadermiddlewares.httpcompression
import scrapy.downloadermiddlewares.redirect
import scrapy.downloadermiddlewares.retry
import scrapy.downloadermiddlewares.robotstxt
import scrapy.spidermiddlewares.depth
import scrapy.spidermiddlewares.httperror
import scrapy.spidermiddlewares.offsite
import scrapy.spidermiddlewares.referer
import scrapy.spidermiddlewares.urllength
import scrapy.pipelines
import scrapy.core.downloader.handlers.http
import scrapy.core.downloader.contextfactory
 
from douban.pipelines import DoubanPipeline
from douban.items import DoubanItem
import douban.settings
 
if __name__ = = '__main__' :
   setting = get_project_settings()
   process = CrawlerProcess(settings = setting)
   process.crawl(Douban_spider)
   process.start()

2、在crawl.py目录下pyinstaller crawl.py 生成dist，build（可删）和crawl.spec（可删）.

3、在crawl.exe目录下创建文件夹scrapy，然后到自己安装的scrapy文件夹中把VERSION和mime.types两个文件复制到刚才创建的scrapy文件夹中.

4、发布程序 包括douban/dist 和douban/scrapy.cfg  。

如果没有scrapy.cfg无法读取settings.py和pipelines.py的配置 。

Pyinstaller打包Scrapy项目的实现步骤

5、在另外一台机器上测试成功 。

6、对于自定义的pipelines和settings，貌似用pyinstaller打包后的 exe无法读取到settings和pipelines，哪位高手看看能解决这个问题？？?

到此这篇关于Pyinstaller打包Scrapy项目的实现步骤的文章就介绍到这了,更多相关Pyinstaller打包Scrapy内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。

原文链接：https://blog.csdn.net/vample/article/details/86224021 。

最后此篇关于Pyinstaller打包Scrapy项目的实现步骤的文章就讲到这里了,如果你想了解更多关于Pyinstaller打包Scrapy项目的实现步骤的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

26 4 0
文章推荐： 你应该知道的21个Java核心技术
文章推荐： Java核心编程之文件随机读写类RandomAccessFile详解
文章推荐： Python使用pickle进行序列化和反序列化的示例代码
文章推荐： SpringMVC实现文件上传和下载功能
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com