scrapy 部署之后是怎么和后台管理传递信息的?

(多个) scrapy 的脚本通过 scrapyd 部署之后,如果也使用了后台管理如 scrapydweb ,

那具体的 scrapy 和 scrapydweb 是怎么传递信息的?

比如传递 scrapy 抓取了 N 个 items ,parse 了 M 个 pages

scrapy 向 scrapydweb 发送消息?还是 scrapydweb 向发送 scrapy 请求?

这样的传递消息是怎么实现的?


回答:

1、scrapyd通过子进程的方式去执行scrapy脚本。
scrapy 部署之后是怎么和后台管理传递信息的?

2、scrapydweb通过scrapyd提供的API接口来管理scrapy
scrapy 部署之后是怎么和后台管理传递信息的?


已参与了 SegmentFault 思否社区 10 周年「问答」打卡 ,欢迎正在阅读的你也加入。

以上是 scrapy 部署之后是怎么和后台管理传递信息的? 的全部内容, 来源链接: utcz.com/p/938138.html

回到顶部