- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试使用我的 scrapy 蜘蛛在 VPS 服务器上运行。所以我使用了 Docker 图像并将其与 PostgreSQL、Scrapy、scrapy-splash 图像附加在一起。当我使用 docker-compose up
启动蜘蛛时,我遇到了端口错误,蜘蛛似乎无法识别我的 pipelines.py 中的 self.cur
。
当我在本地电脑上运行蜘蛛时,它运行良好,没有遇到端口或 pipelines.py 中的任何错误。
VPS 服务器错误:
2018-08-08 02:19:10 [scrapy.middleware] INFO: Enabled spider midd lewares:
web_1 | ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
web_1 | 'scrapy_splash.SplashDeduplicateArgsMiddleware',
web_1 | 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
web_1 | 'tutorial.middlewares.TutorialSpiderMiddleware',
web_1 | 'scrapy.spidermiddlewares.referer.RefererMiddleware',
web_1 | 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
web_1 | 'scrapy.spidermiddlewares.depth.DepthMiddleware']
web_1 | 2018-08-08 02:19:10 [scrapy.middleware] INFO: Enabled item pipeli nes:
web_1 | ['tutorial.pipelines.TutorialPipeline']
web_1 | 2018-08-08 02:19:10 [scrapy.core.engine] INFO: Spider opened
web_1 | 2018-08-08 02:19:10 [scrapy.core.engine] INFO: Closing spider (sh utdown)
web_1 | 2018-08-08 02:19:10 [scrapy.core.engine] ERROR: Scraper close fai lure
web_1 | Traceback (most recent call last):
web_1 | File "/usr/local/lib/python3.6/site-packages/scrapy/crawler.py" , line 82, in crawl
web_1 | yield self.engine.open_spider(self.spider, start_requests)
web_1 | psycopg2.OperationalError: could not connect to server: Connectio n refused
web_1 | Is the server running on host "localhost" (127.0.0.1) and accept ing
web_1 | TCP/IP connections on port 5432?
web_1 | could not connect to server: Cannot assign requested address
web_1 | Is the server running on host "localhost" (::1) and accepting
web_1 | TCP/IP connections on port 5432?
web_1 |
web_1 |
web_1 | During handling of the above exception, another exception occurre d:
web_1 |
web_1 | Traceback (most recent call last):
web_1 | File "/usr/local/lib/python3.6/site-packages/twisted/internet/d efer.py", line 654, in _runCallbacks
web_1 | current.result = callback(current.result, *args, **kw)
web_1 | File "/scrapy_estate/tutorial/pipelines.py", line 19, in cl ose_spider
web_1 | self.cur.close()
web_1 | AttributeError: 'TutorialPipeline' object has no attribute 'cur'
web_1 | 2018-08-08 02:19:10 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
web_1 | {'finish_reason': 'shutdown',
web_1 | 'finish_time': datetime.datetime(2018, 8, 8, 2, 19, 10, 744998),
web_1 | 'log_count/ERROR': 1,
web_1 | 'log_count/INFO': 6}
web_1 | 2018-08-08 02:19:10 [scrapy.core.engine] INFO: Spider closed (shu tdown)
web_1 | Unhandled error in Deferred:
web_1 | 2018-08-08 02:19:10 [twisted] CRITICAL: Unhandled error in Deferr ed:
web_1 |
web_1 | 2018-08-08 02:19:10 [twisted] CRITICAL:
web_1 | Traceback (most recent call last):
web_1 | File "/usr/local/lib/python3.6/site-packages/twisted/internet/d efer.py", line 1418, in _inlineCallbacks
web_1 | result = g.send(result)
web_1 | File "/usr/local/lib/python3.6/site-packages/scrapy/crawler.py" , line 82, in crawl
web_1 | yield self.engine.open_spider(self.spider, start_requests)
web_1 | psycopg2.OperationalError: could not connect to server: Connectio n refused
web_1 | Is the server running on host "localhost" (127.0.0.1) and accept ing
web_1 | TCP/IP connections on port 5432?
web_1 | could not connect to server: Cannot assign requested address
web_1 | Is the server running on host "localhost" (::1) and accepting
web_1 | TCP/IP connections on port 5432?
我的 Dockerfile
FROM ubuntu:18.04
FROM python:3.6-onbuild
RUN apt-get update &&apt-get upgrade -y&& apt-get install python-pip -y && pip3 install psycopg2 && pip3 install psycopg2-binary
RUN pip3 install --upgrade pip
RUN pip3 install scrapy --upgrade
run pip3 install scrapy-splash
COPY . /scrapy_estate
WORKDIR /scrapy_estate
COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
EXPOSE 80
EXPOSE 5432/tcp
CMD scrapy crawl estate
Docker-compose.yml:
version: "3"
services:
interface:
links:
- postgres:postgres
image: adminer
ports:
- "8080:8080"
networks:
- webnet
postgres:
image: postgres
container_name: postgres
environment:
POSTGRES_USER: 'postgres'
POSTGRES_PASSWORD: '123'
volumes:
- ./init.sql:/docker-entrypoint-initdb.d/init.sql
networks:
- webnet
web:
image: user/scrapy_estate:latest
build: ./tutorial
ports:
- "8081:8081"
networks:
- webnet
environment:
DB_HOST: postgres
networks:
- webnet
splash:
image: scrapinghub/splash
ports:
- "8050:8050"
expose:
- "8050"
networks:
webnet:
我的管道.py
import psycopg2
class TutorialPipeline(object):
def open_spider(self, spider):
hostname = 'localhost'
username = 'postgres'
password = '123' # your password
database = 'real_estate'
self.connection = psycopg2.connect(host=hostname, user=username, password=password, dbname=database)
self.cur = self.connection.cursor()
def close_spider(self, spider):
self.cur.close()
self.connection.close()
def process_item(self, item, spider):
self.cur.execute("insert into estate(estate_title,estate_address,estate_area,estate_description,estate_price,estate_type,estate_tag,estate_date,estate_seller_name,estate_seller_address,estate_seller_phone,estate_seller_mobile,estate_seller_email) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)",(item['estate_title'],item['estate_address'],item['estate_area'],item['estate_description'],item['estate_price'],item['estate_type'],item['estate_tag'],item['estate_date'],item['estate_seller_name'],item['estate_seller_address'],item['estate_seller_phone'],item['estate_seller_mobile'],item['estate_seller_email']))
self.connection.commit()
return item
蜘蛛现在可以工作了,因为我没有在 docker-compose 中公开端口 5432,并且我的 VPS 上已经安装了一个 postgreSQL,所以该端口已经被使用,所以我杀死了 VPS 上的端口 5432,再次运行它并工作。
最佳答案
因为容器的ip地址网关是:172.17.0.1
因此,您应该在 pipelines.py 文件中将 hostname = 'localhost'
更改为 hostname = '172.17.0.1'
。再次运行。
将端口添加到 postgres 容器的 dockerfile 中:
postgres:
image: postgres
container_name: postgres
environment:
POSTGRES_USER: 'postgres'
POSTGRES_PASSWORD: '123'
volumes:
- ./init.sql:/docker-entrypoint-initdb.d/init.sql
ports:
- "5432:5432"
expose:
- "5432"
networks:
- webnet
关于python - Docker Scrapy spider 保存数据到 Postgres 端口报错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51737912/
我尝试根据表单元素的更改禁用/启用保存按钮。但是,当通过弹出按钮选择更改隐藏输入字段值时,保存按钮不受影响。 下面是我的代码。我正在尝试序列化旧的表单值并与更改后的表单值进行比较。但我猜隐藏的字段值无
我正在尝试保存模型的实例,但我得到了 Invalid EmbeddedDocumentField item (1) 其中 1 是项目的 ID(我认为)。 模型定义为 class Graph(Docum
我有一个非常奇怪的问题......在我的 iPhone 应用程序中,用户可以打开相机胶卷中的图像,在我的示例中 1920 x 1080 像素 (72 dpi) 的壁纸。 现在,想要将图像的宽度调整为例
目前,我正在使用具有排序/过滤功能的数据表成功地从我的数据库中显示图像元数据。在我的数据表下方,我使用第三方图像覆盖流( http://www.jacksasylum.eu/ContentFlow/
我的脚本有问题。我想按此顺序执行以下步骤: 1. 保存输入字段中的文本。 2. 删除输入字段中的所有文本。 3. 在输入字段中重新加载之前删除的相同文本。 我的脚本的问题是 ug()- 函数在我的文本
任何人都可以帮助我如何保存多对多关系吗?我有任务,用户可以有很多任务,任务可以有很多用户(多对多),我想要实现的是,在更新表单中,管理员可以将多个用户分配给特定任务。这是通过 html 多选输入来完成
我在 Tensorflow 中训练了一个具有批归一化的模型。我想保存模型并恢复它以供进一步使用。批量归一化是通过 完成的 def batch_norm(input, phase): retur
我遇到了 grails 的问题。我有一个看起来像这样的域: class Book { static belongsTo = Author String toString() { tit
所以我正在开发一个应用程序,一旦用户连接(通过 soundcloud),就会出现以下对象: {userid: userid, username: username, genre: genre, fol
我正在开发一个具有多选项卡布局的 Angular 7 应用程序。每个选项卡都包含一个组件,该组件可以引用其他嵌套组件。 当用户选择一个新的/另一个选项卡时,当前选项卡上显示的组件将被销毁(我不仅仅是隐
我尝试使用 JEditorPane 进行一些简单的文本格式化,但随着知识的增长,我发现 JTextPane 更容易实现并且更强大。 我的问题是如何将 JTextPane 中的格式化文本保存到文件?它应
使用 Docker 相当新。 我为 Oracle 11g Full 提取了一个图像。创建了一个数据库并将应用程序安装到容器中。 正确配置后,我提交了生成 15GB 镜像的容器。 测试了该图像的新容器,
我是使用 Xcode 和 swift 的新手,仍在学习中。我在将核心数据从实体传递到文本字段/标签时遇到问题,然后用户可以选择编辑和保存记录。我的目标是,当用户从 friendslistViewCon
我正在用 Java 编写 Android 游戏,我需要一种可靠的方法来快速保存和加载应用程序状态。这个问题似乎适用于大多数 OO 语言。 了解我需要保存的内容:我正在使用策略模式来控制我的游戏实体。我
我想知道使用 fstream 加载/保存某种结构类型的数组是否是个好主意。注意,我说的是加载/保存到二进制文件。我应该加载/保存独立变量,例如 int、float、boolean 而不是结构吗?我这么
我希望能够将 QNetworkReply 保存到 QString/QByteArray。在我看到的示例中,它们总是将流保存到另一个文件。 目前我的代码看起来像这样,我从主机那里得到一个字符串,我想做的
我正在创建一个绘图应用程序。我有一个带有 Canvas 的自定义 View ,它根据用户输入绘制线条: class Line { float startX, startY, stopX, stop
我有 3 个 Activity 第一个 Activity 调用第二个 Activity ,第二个 Activity 调用第三个 Activity 。 第二个 Activity 使用第一个 Activi
我想知道如何在 Xcode 中保存 cookie。我想使用从一个网页获取的 cookie 并使用它访问另一个网页。我使用下面的代码登录该网站,我想保存从该连接获得的 cookie,以便在我建立另一个连
我有一个 SQLite 数据库存储我的所有日历事件,建模如下: TimerEvent *Attributes -date -dateForMark -reminder *Relat
我是一名优秀的程序员,十分优秀!