如何判断是下载超时还是request请求超时?

图片描述

说明:
绿框部分分别是:1、请求返回200;2、返回正确内容。

但是,应该返回100条数据,现在才返回14条,绿框部分显示的就是第14条数据。

红色框显示抓取了14条数据,然后后面就不停的<at 0 pages/min>...

我只好shutdown.

解释:
我设置了DOWNLOAD_TIMEOUT = 1200,DOWNLOAD_DELAY=1。也用了useragentmiddleware(模拟浏览器)。

不明白的地方:
这种情况是下载超时还是请求超时造成?如何解决?谢谢!

以上是 如何判断是下载超时还是request请求超时? 的全部内容, 来源链接: utcz.com/a/162685.html

回到顶部