scrapy 部署之后是怎么和后台管理传递信息的?
(多个) scrapy 的脚本通过 scrapyd 部署之后,如果也使用了后台管理如 scrapydweb ,
那具体的 scrapy 和 scrapydweb 是怎么传递信息的?
比如传递 scrapy 抓取了 N 个 items ,parse 了 M 个 pages
scrapy 向 scrapydweb 发送消息?还是 scrapydweb 向发送 scrapy 请求?
这样的传递消息是怎么实现的?
回答:
1、scrapyd
通过子进程的方式去执行scrapy
脚本。
2、scrapydweb
通过scrapyd
提供的API接口来管理scrapy
。
已参与了 SegmentFault 思否社区 10 周年「问答」打卡 ,欢迎正在阅读的你也加入。
以上是 scrapy 部署之后是怎么和后台管理传递信息的? 的全部内容, 来源链接: utcz.com/p/938138.html