从Django视图启动Scrapy

  • Z时代
  • 2024-01-10
  • 分类：问答

我对Scrapy的经验有限，每次使用它时，总是通过终端的命令进行。如何从django模板中获取表单数据（要抓取的网址），以便与scrapy通信以开始抓取？到目前为止，我只想到的是从django的视图中获取表单的返回数据，然后尝试进入scrapy目录中的spider.py，以将表单数据的url添加到Spider的start_urls中。从那里开始，我真的不知道如何触发实际的爬网，因为我习惯于严格通过终端使用“ scrapy crawl dmoz”之类的命令来完成它。谢谢。

微小的编辑：刚发现scrapyd …我想我可能会朝着正确的方向前进。

回答：

你实际上已经通过编辑回答了它。最好的选择是设置scrapyd服务并进行API调用schedule.json以触​​发抓取作业运行。

要进行该API http调用，你可以使用urllib2/ requests，也可以在scrapydAPI- 周围使用包装器python-scrapyd-api：

from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
scrapyd.schedule('project_name', 'spider_name')

如果我们搁置一边scrapyd并尝试从视图中运行Spider，它将阻止请求，直到扭曲的反应堆停止为止-因此，这实际上不是一种选择。

不过，你可以开始使用celery（与串联django_celery）-定义一个任务，该任务将运行Scrapy Spider，并从django视图中调用该任务。这样，你可以将任务放在队列中，而不会让用户等待爬网完成。

另外，看看django-dynamic-scraper软件包：

Django Dynamic Sc​​raper（DDS）是用于Django的应用程序，基于cracking框架Scrapy构建。在保留Scrapy的许多功能的同时，它还允许你通过Django管理界面动态创建和管理蜘蛛。能会朝着正确的方向前进。

以上是 从Django视图启动Scrapy 的全部内容， 来源链接： utcz.com/qa/427053.html

回到顶部