scrapy 异常状态码使用代理只有第一个请求生效？

• Z时代
• 2024-01-10
• 分类：技术分享

下载中间件的部分代码：

    def process_response(self, request, response, spider):
        status_code = [403]
        if response.status in status_code:
            spider.logger.debug('Error ======= %s %s , 开始使用 Proxy 代理' % (response.status, request.url))
            import importlib
            proxy = ProxyMiddleware(settings=settings)
            request.meta['proxy'] = proxy.proxy_server
            request.headers['Proxy-Authorization'] = proxy.proxy_authorization
            return request
        else:
            return response

按理说，只要是状态码是403的，都会使用这个代理，直到不是403为止。

事实上运行截图：

图中起始页第一次是403然后使用了一个代理，结果就成功了。可是剩下的页面就一直还是403就很奇怪。

以上是 scrapy 异常状态码使用代理只有第一个请求生效？ 的全部内容， 来源链接： utcz.com/a/158282.html