使用一个Scrapy spider访问多个网站

我需要创建一个用户可配置的网络爬虫/爬虫,并且我正在考虑使用Scrapy。但是,我无法对域和允许的URL regex:es进行硬编码-而是可以在GUI中对其进行配置。

如何(尽可能简单)使用Scrapy创建一个spider或一组spider,其中域和允许的URL regex:es是可动态配置的?例如,我将配置写入文件,然后spider程序以某种方式读取它。

回答:

警告:此答案适用于Scrapy v0.7,自那时以来,spider管理器api发生了很大变化。

覆盖默认的SpiderManager类,从数据库或其他地方加载自定义规则,并使用自己的规则/正则表达式和domain_name实例化自定义spider

在mybot / settings.py中:

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在mybot / spidermanager.py中:

from mybot.spider import MyParametrizedSpider

class MySpiderManager(object):

loaded = True

def fromdomain(self, name):

start_urls, extra_domain_names, regexes = self._get_spider_info(name)

return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)

def close_spider(self, spider):

# Put here code you want to run before spiders is closed

pass

def _get_spider_info(self, name):

# query your backend (maybe a sqldb) using `name` as primary key,

# and return start_urls, extra_domains and regexes

...

return (start_urls, extra_domains, regexes)

现在是您的自定义spider class,位于mybot / spider.py中:

from scrapy.spider import BaseSpider

class MyParametrizedSpider(BaseSpider):

def __init__(self, name, start_urls, extra_domain_names, regexes):

self.domain_name = name

self.start_urls = start_urls

self.extra_domain_names = extra_domain_names

self.regexes = regexes

def parse(self, response):

...

以上是 使用一个Scrapy spider访问多个网站 的全部内容, 来源链接: utcz.com/qa/425471.html

回到顶部