登录Scrapy

  • Z时代
  • 2024-01-10
  • 分类：问答

我在登录scrapy时遇到了麻烦，并且我能找到的大多数内容都已过时。

我已经LOG_FILE="log.txt"在settings.py文件中设置了文件，并从文档中设置了文件，它应该可以工作：

Scrapy在每个Spider实例中都提供了一个记录器，可以通过以下方式对其进行访问和使用：

import scrapy
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://scrapinghub.com']
    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)

但是当我这样做时：

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        self.logger.info("foobar")

我什么都没有。如果我设置

logger = logging.basicConfig(filename="log.txt",level=logging.INFO)

在文件的顶部，导入后，它会创建一个日志文件，并且默认输出会被记录下来，但是

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        logger.info("foobar")

无法露面。我也尝试过将它放在类中__init__，例如：

def __init__(self, *a, **kw):
    super(FanfictionSpider, self).__init__(*a, **kw)
    logging.basicConfig(filename="log.txt",level=logging.INFO)

我再次没有输出到文件，只是到控制台，foobar没有显示。有人可以指导我如何正确登录Scrapy吗？

回答：

对于日志记录，我将其放在蜘蛛类上：

class SomeSpider(scrapy.Spider):
    configure_logging(install_root_handler=False)
    logging.basicConfig(
        filename='log.txt',
        format='%(levelname)s: %(message)s',
        level=logging.INFO
    )

这会将所有scrapy输出作为log.txt文件放入项目根目录

如果要手动记录某些内容，则不要使用scrapy记录器，它已被弃用。只需使用python一个

import logging
logging.error("Some error")

以上是 登录Scrapy 的全部内容， 来源链接： utcz.com/qa/416130.html

回到顶部