是Scrapy是单线程还是多线程?
Scrapy中很少有并发设置,例如CONCURRENT_REQUESTS。这意味着Scrapy搜寻器是多线程的吗?因此,如果我运行scrapy crawl my_crawler
它,将在字面上并行触发多个同时请求?我问是因为,我读过Scrapy是单线程的。
回答:
Scrapy是单线程的,除了交互式外壳程序和一些测试之外,请参见source。
它建立在Twisted的基础上,Twisted也是单线程的,并且利用了它自己的异步并发功能,例如twisted.internet.interfaces.IReactorThreads.callFromThread
,参见source。
以上是 是Scrapy是单线程还是多线程? 的全部内容, 来源链接: utcz.com/qa/435290.html