在celery任务中运行Scrapy蜘蛛

Z时代
2024-01-10
分类：问答

现在，文档提供了一种“ 从脚本运行Scrapy ”的方法，但ReactorNotRestartable出现错误。

我的任务：

from celery import Task
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.utils.project import get_project_settings
from .spiders import MySpider
class MyTask(Task):
    def run(self, *args, **kwargs):
        spider = MySpider
        settings = get_project_settings()
        crawler = Crawler(settings)
        crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
        crawler.configure()
        crawler.crawl(spider)
        crawler.start()
        log.start()
        reactor.run()

回答：

扭曲的电抗器无法重启。解决方法是让celery任务为你要执行的每个爬网派生一个新的子进程，如以下文章中所建议：

通过使用该multiprocessing程序包可以解决“反应器无法重新启动”的问题。但是这样做的问题是，由于你将遇到另一个问题，即守护进程无法生成子进程，因此最新的celery版本现在已解决该解决方法。因此，为了使解决方法起作用，你需要使用celery版本。

是的，scrapyAPI已经更改。但进行了较小的修改（import Crawler而不是CrawlerProcess）。你可以通过关闭Celery版获得解决方法。

这是我更新的抓取脚本，可通过billiard代替来使用较新的celery版本multiprocessing：

from scrapy.crawler import Crawler
from scrapy.conf import settings
from myspider import MySpider
from scrapy import log, project
from twisted.internet import reactor
from billiard import Process
from scrapy.utils.project import get_project_settings
class UrlCrawlerScript(Process):
    def __init__(self, spider):
        Process.__init__(self)
        settings = get_project_settings()
        self.crawler = Crawler(settings)
        self.crawler.configure()
        self.crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
        self.spider = spider
    def run(self):
        self.crawler.crawl(self.spider)
        self.crawler.start()
        reactor.run()
def run_spider(url):
    spider = MySpider(url)
    crawler = UrlCrawlerScript(spider)
    crawler.start()
    crawler.join()