scrapy如何设置引荐来源网址
我需要设置引荐来源网址,然后再抓取网站,该网站使用基于引用网址的身份验证,因此如果引荐来源无效,则不允许我登录。
有人可以告诉我如何在Scrapy中执行此操作吗?
回答:
如果你想在Spider的请求中更改引荐来源网址,则可以DEFAULT_REQUEST_HEADERS在settings.py文件中进行更改:
DEFAULT_REQUEST_HEADERS = { 'Referer': 'http://www.google.com'
}
以上是 scrapy如何设置引荐来源网址 的全部内容, 来源链接: utcz.com/qa/421643.html