gpt4 book ai didi

python - OSX 使用 os.system 运行 Scrapy 脚本

转载 作者:行者123 更新时间:2023-12-04 15:23:38 26 4
gpt4 key购买 nike

这个问题已经结束了,但我不确定这个解决方案是否有效。

我有一个 scrapy 脚本,我想将其转换为 .app 文件。有一个名为 Platypus[] 的程序使用 GUI 将 python 项目转换为应用程序。最终,我只想拥有一些我或其他人可以与之交互并让蜘蛛开始运行的东西。

我在想

制作一个脚本来运行蜘蛛 -> 将它喂给鸭嘴兽 -> 创建一个人只需点击一下的程序

我通常通过终端运行的参数是

scrapy crawl [spiderName] -t csv -o - > "pathName" 

经过一些研究,我发现这可能是实现它的最简单方法

import os
os.system('scrapy crawl [spiderName] -t csv -o - > "pathName"')

我把这个程序和我的蜘蛛程序放在同一个目录中,但是当我运行它时没有任何反应。 [蜘蛛不跑]

另一个问题:我知道我必须调整脚本才能在其他人的机器上为该目录运行爬虫(这很好)但是我是否也必须在其他人的机器上安装 scrapy?

感谢您的帮助!

编辑:尝试使用子进程时,未运行 Spider 的结果相同

subprocess.Popen('scrapy crawl [spiderName] -t csv -o - > "pathName"', shell = True)

编辑#2:做子流程的方式是这样的:

process = subprocess.Popen(['scrapy', 'crawl', 'homeDepotSpider'] , shell=True)

然而,当我运行它时,我并没有在正确的目录中运行它,即使 runspider 程序与我的蜘蛛程序在同一目录中也是如此。

在终端中输入“ls”后,我发现我在桌面目录中

enter image description here

最佳答案

想通了,为错过这个而感到愚蠢。

我不在正确的目录中(不确定这是否仅适用于 OSX)

os.chdir(path name of folder)

关于python - OSX 使用 os.system 运行 Scrapy 脚本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62781850/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com