使用一个Scrapy spider访问多个网站

  • Z时代
  • 2024-01-10
  • 分类：问答

我需要创建一个用户可配置的网络爬虫/爬虫，并且我正在考虑使用Scrapy。但是，我无法对域和允许的URL regex：es进行硬编码-而是可以在GUI中对其进行配置。

如何（尽可能简单）使用Scrapy创建一个spider或一组spider，其中域和允许的URL regex：es是可动态配置的？例如，我将配置写入文件，然后spider程序以某种方式读取它。

回答：

警告：此答案适用于Scrapy v0.7，自那时以来，spider管理器api发生了很大变化。

覆盖默认的SpiderManager类，从数据库或其他地方加载自定义规则，并使用自己的规则/正则表达式和domain_name实例化自定义spider

在mybot / settings.py中：

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在mybot / spidermanager.py中：

from mybot.spider import MyParametrizedSpider
class MySpiderManager(object):
    loaded = True
    def fromdomain(self, name):
        start_urls, extra_domain_names, regexes = self._get_spider_info(name)
        return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)
    def close_spider(self, spider):
        # Put here code you want to run before spiders is closed
        pass
    def _get_spider_info(self, name):
        # query your backend (maybe a sqldb) using `name` as primary key, 
        # and return start_urls, extra_domains and regexes
        ...
        return (start_urls, extra_domains, regexes)

现在是您的自定义spider class，位于mybot / spider.py中：

from scrapy.spider import BaseSpider
class MyParametrizedSpider(BaseSpider):
    def __init__(self, name, start_urls, extra_domain_names, regexes):
        self.domain_name = name
        self.start_urls = start_urls
        self.extra_domain_names = extra_domain_names
        self.regexes = regexes
     def parse(self, response):
         ...

以上是 使用一个Scrapy spider访问多个网站 的全部内容， 来源链接： utcz.com/qa/425471.html

回到顶部