是Scrapy是单线程还是多线程?

Scrapy中很少有并发设置,例如CONCURRENT_REQUESTS。这意味着Scrapy搜寻器是多线程的吗?因此,如果我运行scrapy crawl my_crawler它,将在字面上并行触发多个同时请求?我问是因为,我读过Scrapy是单线程的。

回答:

Scrapy是单线程的,除了交互式外壳程序和一些测试之外,请参见source。

它建立在Twisted的基础上,Twisted也是单线程的,并且利用了它自己的异步并发功能,例如twisted.internet.interfaces.IReactorThreads.callFromThread,参见source。

以上是 是Scrapy是单线程还是多线程? 的全部内容, 来源链接: utcz.com/qa/435290.html

回到顶部