scrapy如何设置引荐来源网址

我需要设置引荐来源网址,然后再抓取网站,该网站使用基于引用网址的身份验证,因此如果引荐来源无效,则不允许我登录。

有人可以告诉我如何在Scrapy中执行此操作吗?

回答:

如果你想在Spider的请求中更改引荐来源网址,则可以DEFAULT_REQUEST_HEADERS在settings.py文件中进行更改:

DEFAULT_REQUEST_HEADERS = {

'Referer': 'http://www.google.com'

}

以上是 scrapy如何设置引荐来源网址 的全部内容, 来源链接: utcz.com/qa/421643.html

回到顶部