设置scrapy shell请求的标头

• Z时代
• 2024-01-10
• 分类：问答

我知道你可以scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'更改USER_AGENT，但是如何添加请求标头？

回答：

当前没有直接在cli上添加标头的方法，但是你可以执行以下操作：

$ scrapy shell
...
...
>>> from scrapy import Request
>>> req = Request('yoururl.com', headers={"header1":"value1"})
>>> fetch(req)

这将使用该新请求更新当前shell信息。

以上是 设置scrapy shell请求的标头 的全部内容， 来源链接： utcz.com/qa/423154.html