从Django视图启动Scrapy

我对Scrapy的经验有限,每次使用它时,总是通过终端的命令进行。如何从django模板中获取表单数据(要抓取的网址),以便与scrapy通信以开始抓取?到目前为止,我只想到的是从django的视图中获取表单的返回数据,然后尝试进入scrapy目录中的spider.py,以将表单数据的url添加到Spider的start_urls中。从那里开始,我真的不知道如何触发实际的爬网,因为我习惯于严格通过终端使用“ scrapy crawl dmoz”之类的命令来完成它。谢谢。

微小的编辑:刚发现scrapyd …我想我可能会朝着正确的方向前进。

回答:

你实际上已经通过编辑回答了它。最好的选择是设置scrapyd服务并进行API调用schedule.json以触​​发抓取作业运行。

要进行该API http调用,你可以使用urllib2/ requests,也可以在scrapydAPI- 周围使用包装器python-scrapyd-api:

from scrapyd_api import ScrapydAPI

scrapyd = ScrapydAPI('http://localhost:6800')

scrapyd.schedule('project_name', 'spider_name')

如果我们搁置一边scrapyd并尝试从视图中运行Spider,它将阻止请求,直到扭曲的反应堆停止为止-因此,这实际上不是一种选择。

不过,你可以开始使用celery(与串联django_celery)-定义一个任务,该任务将运行Scrapy Spider,并从django视图中调用该任务。这样,你可以将任务放在队列中,而不会让用户等待爬网完成。

另外,看看django-dynamic-scraper软件包:

Django Dynamic Sc​​raper(DDS)是用于Django的应用程序,基于cracking框架Scrapy构建。在保留Scrapy的许多功能的同时,它还允许你通过Django管理界面动态创建和管理蜘蛛。能会朝着正确的方向前进。

以上是 从Django视图启动Scrapy 的全部内容, 来源链接: utcz.com/qa/427053.html

回到顶部