使用scrapyd有什么优势?
Scrapy附带了一个内置服务,叫做“Scrapyd”,它允许你部署(也就是上传)你的项目并使用JSON web服务控制它们的spider。
使用scrapyd有什么优点吗?
回答:
通过方便的Web API,Scrapyd允许你在不同于正在使用的计算机上的另一台计算机上运行scrapy,这意味着你可以curl甚至使用网络浏览器上传新项目版本并运行它们。否则,如果你想在某个地方的云中运行Scrapy,则必须scp复制新的spider代码,然后使用登录ssh
并生成你的scrapy crawl myspider
。
如果你要并行运行许多spider,Scrapyd还将为你管理进程。但是,如果你在本地计算机上拥有Scrapy并可以访问命令行或运行Spider的方式,并且只想一次运行一个Spider,那么最好不要手动运行Spider。
如果你正在开发Spider,那么可以肯定的是你不想使用scrapyd
快速编译/测试迭代,因为这只会增加一层复杂性。
以上是 使用scrapyd有什么优势? 的全部内容, 来源链接: utcz.com/qa/432160.html