为Scrapy构建RESTful Flask API

  • Z时代
  • 2024-01-10
  • 分类：问答

API应该允许任意HTTP get请求包含用户要抓取的URL，然后Flask应该返回抓取的结果。

以下代码适用于第一个http请求，但是在扭曲的反应堆停止后，它将不会重新启动。我什至可能并没有以正确的方式来做这件事，但我只想在Heroku上安装一个RESTful scrapy API，到目前为止，我所能想到的就是全部。

有没有更好的方法来设计此解决方案？或者我如何允许scrape_it在不停止扭曲反应堆的情况下返回（该反应堆无法再次启动）？

from flask import Flask
import os
import sys
import json
from n_grams.spiders.n_gram_spider import NGramsSpider
# scrapy api
from twisted.internet import reactor
import scrapy
from scrapy.crawler import CrawlerRunner
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals
app = Flask(__name__)
def scrape_it(url):
    items = []
    def add_item(item):
        items.append(item)
    runner = CrawlerRunner()
    d = runner.crawl(NGramsSpider, [url])
    d.addBoth(lambda _: reactor.stop()) # <<< TROUBLES HERE ???
    dispatcher.connect(add_item, signal=signals.item_passed)
    reactor.run(installSignalHandlers=0) # the script will block here until the crawling is finished
    return items
@app.route('/scrape/<path:url>')
def scrape(url):
    ret = scrape_it(url)
    return json.dumps(ret, ensure_ascii=False, encoding='utf8')
if __name__ == '__main__':
    PORT = os.environ['PORT'] if 'PORT' in os.environ else 8080
    app.run(debug=True, host='0.0.0.0', port=int(PORT))

回答：

我认为没有一种好的方法可以为Scrapy创建基于Flask的API。Flask不是正确的工具，因为它不是基于事件循环的。更糟糕的是，Twisted反应堆（Scrapy使用）不能在单个线程中多次启动/停止。

假设Twisted电抗器没有问题，你可以启动和停止它。它不会使事情变得更好，因为你的scrape_it函数可能会长时间阻塞，因此你将需要许多线程/进程。

我认为方法是使用Twisted或Tornado等异步框架创建API；它会比基于Flask（或基于Django）的解决方案更高效，因为该API将能够在Scrapy运行Spider时处理请求。

Scrapy基于Twisted，因此使用twisted.web或https://github.com/twisted/klein可能更简单。但是Tornado也并不难，因为你可以使用Twisted事件循环使它成为现实。

有一个名为ScrapyRT的项目，其功能与你要实现的功能非常相似-它是Scrapy的HTTP API。ScrapyRT基于Twisted。

作为Scrapy基旋风整合检查的examle Arachnado - 这里是如何Scrapy的CrawlerProcess与tornado的应用程序集成的例子。

如果你确实需要基于Flask的API，则可以在单独的进程中开始爬网和/或使用队列解决方案（例如Celery）是有意义的。这样，你就失去了大多数Scrapy效率；如果你采用这种方式，则也可以使用请求+ BeautifulSoup。

以上是 为Scrapy构建RESTful Flask API 的全部内容， 来源链接： utcz.com/qa/428599.html

回到顶部