gpt4 book ai didi

ubuntu - Scrapy 飞溅设置 : "SPLASH_URL"

转载 作者:太空宇宙 更新时间:2023-11-03 17:09:00 26 4
gpt4 key购买 nike

我的电脑上有一个 scrapy splash spider 的工作实例。然后我将它迁移到我的 linux 服务器。蜘蛛工作正常并检索结果而不会飞溅。但是,对于相同的网站,当我使用启动画面 ( https://github.com/scrapy-plugins/scrapy-splash ) 时,我的蜘蛛不会检索任何内容并返回 404 错误。我在我的服务器上设置了 nginx 和 django,我想知道这是否与 splash 的“SPLASH_URL”设置冲突。

1) 我已尝试将初始网址更改为以下所有内容:

SPLASH_URL = 'http://localhost:8050/'
SPLASH_URL = 'http://127.0.0.1:80/
SPLASH_URL = '<server ip>:8050/'

我也将端口更改为 80 和 8050

2) 从我的服务器运行 curl 时,我得到以下信息

 $ curl http://localhost:80/render.html?url=http%3A%2F%2Fwww.google.com

<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.10.0 (Ubuntu)</center>
</body>
</html>

可能导致 404 错误的原因。如果我使用的是 docker,启动说明指定将 url 设置为 localhost 或 docker ip。非常感谢!

最佳答案

我刚刚弄明白了。原来我的启动服务器由于某些错误而退出了。正在运行 docker start <containerId>解决了问题

关于ubuntu - Scrapy 飞溅设置 : "SPLASH_URL",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44600951/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com