Scrapy在解析中获取请求URL

  • Z时代
  • 2024-01-10
  • 分类：问答

如何在Scrapy parse()函数中获取请求网址？我有很多网址start_urls，其中一些将我的蜘蛛重定向到主页，结果我有一个空项目。所以我需要一些类似的东西item['start_url'] = request.url来存储这些URL。我正在使用BaseSpider。

回答：

传递给parse（）的’response’变量具有所需的信息。你不需要覆盖任何内容。

例如。（编辑）

def parse(self, response):
    print "URL: " + response.request.url

以上是 Scrapy在解析中获取请求URL 的全部内容， 来源链接： utcz.com/qa/435249.html

回到顶部