我在登录scrapy时遇到了麻烦,并且我能找到的大多数内容都已过时。
我已经LOG_FILE="log.txt"在settings.py文件中设置了文件,并从文档中设置了文件,它应该可以工作:
LOG_FILE="log.txt"
settings.py
Scrapy在每个Spider实例中都提供了一个记录器,可以通过以下方式对其进行访问和使用:
import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://scrapinghub.com'] def parse(self, response): self.logger.info('Parse function called on %s', response.url)
但是当我这样做时:
class MySpider(CrawlSpider): #other code def parse_page(self,response): self.logger.info("foobar")
我什么都没有。如果我设置
logger = logging.basicConfig(filename="log.txt",level=logging.INFO)
在文件的顶部,导入后,它会创建一个日志文件,并且默认输出会被记录下来,但是
class MySpider(CrawlSpider): #other code def parse_page(self,response): logger.info("foobar")
无法露面。我也尝试过将它放在类中__init__,例如:
__init__
def __init__(self, *a, **kw): super(FanfictionSpider, self).__init__(*a, **kw) logging.basicConfig(filename="log.txt",level=logging.INFO)
我再次没有输出到文件,只是到控制台,foobar没有显示。有人可以指导我如何正确登录Scrapy吗?
foobar
对于日志记录,我将其放在蜘蛛类上:
class SomeSpider(scrapy.Spider): configure_logging(install_root_handler=False) logging.basicConfig( filename='log.txt', format='%(levelname)s: %(message)s', level=logging.INFO )
这会将所有scrapy输出作为log.txt文件放入项目根目录
log.txt
如果要手动记录某些内容,则不要使用scrapy记录器,它已被弃用。只需使用python一个
import logging logging.error("Some error")