小编典典

登录Scrapy

scrapy

我在登录scrapy时遇到了麻烦,并且我能找到的大多数内容都已过时。

我已经LOG_FILE="log.txt"settings.py文件中设置了文件,并从文档中设置了文件,它应该可以工作:

Scrapy在每个Spider实例中都提供了一个记录器,可以通过以下方式对其进行访问和使用:

import scrapy

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['http://scrapinghub.com']

    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)  

但是当我这样做时:

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        self.logger.info("foobar")

我什么都没有。如果我设置

logger = logging.basicConfig(filename="log.txt",level=logging.INFO)

在文件的顶部,导入后,它会创建一个日志文件,并且默认输出会被记录下来,但是

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        logger.info("foobar")

无法露面。我也尝试过将它放在类中__init__,例如:

def __init__(self, *a, **kw):
    super(FanfictionSpider, self).__init__(*a, **kw)
    logging.basicConfig(filename="log.txt",level=logging.INFO)

我再次没有输出到文件,只是到控制台,foobar没有显示。有人可以指导我如何正确登录Scrapy吗?


阅读 539

收藏
2020-04-09

共1个答案

小编典典

对于日志记录,我将其放在蜘蛛类上:

class SomeSpider(scrapy.Spider):
    configure_logging(install_root_handler=False)
    logging.basicConfig(
        filename='log.txt',
        format='%(levelname)s: %(message)s',
        level=logging.INFO
    )

这会将所有scrapy输出作为log.txt文件放入项目根目录

如果要手动记录某些内容,则不要使用scrapy记录器,它已被弃用。只需使用python一个

import logging
logging.error("Some error")
2020-04-09