python - 关闭蜘蛛时 Scrapy/BigQuery 失败并发送此错误 : OSError: [Errno 5] Input/Output error

Question

我启动了一个 CrawlSpider 从在线购物网页中抓取一个类别。大约有 760k 项。 11 小时后，我查看了日志，发现蜘蛛不知何故关闭了。调用管道中的 close_spider() 函数时失败。基本上，我自己实现的 close_spider() 函数在蜘蛛和 bigquery 之间建立连接，并将本地保存的 jsonlines 文件传输到 bigquery 数据库。但是，正如我所提到的，它在这一步中失败了。

我手动尝试了 close_spider() 函数，它成功地将保存的相同 jsonlines 文件传输到 bigquery。顺便说一句，jsonlines 文件中有大约 466k 行。此外，我在具有 8k 个项目的不同类别上尝试了相同的蜘蛛，它成功地将提要文件传输到 bigquery，并且没有收到错误消息。我两次遇到这个错误。当我第一次收到此错误消息时，蜘蛛抓取了 700k 个项目。

这是日志文件:

2019-06-11 23:18:12 [scrapy.extensions.logstats] INFO: Crawled 480107 pages (at 787 pages/min), scraped 466560 items (at 772 items/min)
2019-06-11 23:18:33 [scrapy.core.engine] INFO: Closing spider (finished)
2019-06-11 23:18:33 [scrapy.core.engine] ERROR: Scraper close failure
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/twisted/internet/defer.py", line 654, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "/home/togayyazar/etsy/etsy/pipelines.py", line 20, in close_spider
    self.write_to_bq()
  File "/home/togayyazar/etsy/etsy/pipelines.py", line 30, in write_to_bq
    print("-----BIGQUERY-----")
OSError: [Errno 5] Input/output error
2019-06-11 23:18:33 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 217195256,
 'downloader/request_count': 480652,
 'downloader/request_method_count/GET': 480652,
 'downloader/response_bytes': 29983627714,
 'downloader/response_count': 480652,
 'downloader/response_status_count/200': 480373,
 'downloader/response_status_count/301': 254,
 'downloader/response_status_count/400': 6,
 'downloader/response_status_count/503': 19,
 'dupefilter/filtered': 358230,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 6, 11, 23, 18, 33, 739888),
 'httperror/response_ignored_count': 6,
 'httperror/response_ignored_status_count/400': 6,
 'item_scraped_count': 466833,
 'log_count/ERROR': 1,
 'log_count/INFO': 663,
 'memusage/max': 456044544,
 'memusage/startup': 61976576,
 'request_depth_max': 88,
 'response_received_count': 480379,
 'retry/count': 19,
 'retry/reason_count/503 Service Unavailable': 19,
 'scheduler/dequeued': 480652,
 'scheduler/dequeued/memory': 480652,
 'scheduler/enqueued': 480652,
 'scheduler/enqueued/memory': 480652,
 'start_time': datetime.datetime(2019, 6, 11, 12, 30, 12, 400853)}
2019-06-11 23:18:33 [scrapy.core.engine] INFO: Spider closed (finished)

和 close_spider() 函数:

def close_spider(self, spider):
    self.file.close()
    self.write_to_bq()

def write_to_bq(self):
    print("-----BIGQUERY-----")
    bq=BigQuery()
    dataset_name=self.category

    if not bq.dataset_exists(dataset_name):
        bq.create_dataset(dataset_name) 

    path="/home/togayyazar/etsy/"+self.file_path
    table_name=self.date_time
    bq.load_table(
        path,
        table_name,
        dataset_name,
        'NEWLINE_DELIMITED_JSON',
    )

任何帮助将不胜感激。

Answer 1

如果您查看错误跟踪，您将看到 print() 中出现异常。功能。

File "/home/togayyazar/etsy/etsy/pipelines.py", line 30, in write_to_bq
    print("-----BIGQUERY-----") OSError: [Errno 5] Input/output error

查看 this thread了解问题。

我建议您简单地删除 print或将其替换为 logging模块，蜘蛛有一个属性 logger如果你想使用，但如果你想拥有一个带有管道名称的记录器，你可以这样做:

import logging

class YourPipeline(object):

    def __init__(self):
        # Create a logger with the pipeline name
        self.logger = logging.getLogger(self.__class__.__name__) 

    def close_spider(self, spider):
        self.file.close()
        self.write_to_bq()

    def write_to_bq(self):
        self.logger.debug("-----BIGQUERY-----")
        # rest of you code