gpt4 book ai didi

python - 在 centos 6.10 python 3.6 上将 Scrapyd 作为守护进程运行

转载 作者:太空宇宙 更新时间:2023-11-03 17:16:57 26 4
gpt4 key购买 nike

我正在尝试在我专用的 centos 6.10 服务器上运行我的爬虫。我安装了 python 3.6.6,创建了一个 venv,并从 pip 安装了一个运行的 scrapyd。命令 scrapyd 显示了这一点:

2018-10-24T12:23:56-0700 [-] Loading /usr/local/lib/python3.6/site-packages/scrapyd/txapp.py...
2018-10-24T12:23:57-0700 [-] Scrapyd web console available at http://127.0.0.1:6800/
2018-10-24T12:23:57-0700 [-] Loaded.
2018-10-24T12:23:57-0700 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 18.7.0 (/usr/local/bin/python3.6 3.6.6) starting up.
2018-10-24T12:23:57-0700 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.
2018-10-24T12:23:57-0700 [-] Site starting on 6800
2018-10-24T12:23:57-0700 [twisted.web.server.Site#info] Starting factory <twisted.web.server.Site object at 0x7f4661cdf940>
2018-10-24T12:23:57-0700 [Launcher] Scrapyd 1.2.0 started: max_proc=16, runner='scrapyd.runner'

太酷了。现在我有几个问题。

1- 如果它在我的专用服务器上运行,是否意味着 scrapyd web 控制台在 [serverIP]:6800?或者,至少,它应该在那里吗?因为当命令运行时,它不会出现。找不到网站。所以,我有点碰壁了。

2- 另一件事是,我不想让浏览器或 SSH 终端处于打开状态才能让 scrapyd 运行。我读过的所有文章都建议没有适合 scrapyd 的 RPM 包,直到有人制作了一个我运气不好,因为我个人不是 linux 专家,我很惊讶我做了这个远。

所以我猜这是在服务器上将 scrapyd 作为守护进程运行的问题,因为它需要特殊文件。我可以直接从 git 安装 scrapyd 吗?然而,似乎即使是 git 也没有我似乎需要让这个项目工作的正确文件。

如果有人可以在正确的轨道上帮助我,指导我或向我提供一篇文章,其中有人在 6.10 上完成了整个过程,那就太棒了。

最佳答案

1 - 使用 scrapyd 配置文件在其中添加 bind_address=0.0.0.0

# cat ~/.scrapyd.conf
[草率]
绑定(bind)地址=0.0.0.0

启动scrapyd,你应该会看到类似的东西

2018-11-11T13:58:08-0800 [-] Scrapyd 网络控制台可在 http://0.0.0.0:6800/

现在您应该可以从 [serverIP]:6800 访问 Web 界面了

2 - 你总是可以为此使用 tmux,阅读 https://hackernoon.com/a-gentle-introduction-to-tmux-8d784c404340

关于python - 在 centos 6.10 python 3.6 上将 Scrapyd 作为守护进程运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52976640/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com