pyspider爬pdf爬了一小段时间后就不动了

图片描述

图片描述

图片描述
下载了一小部分之后就不动了,stop之后重新跑也没有任何反应,有人知道是怎么回事吗?谢谢大家。

回答:

放代码吧 骚年

回答:

根据 dashboard 最上方的信息

scheduler 到 fetcher 有100条队列中的任务
fetcher 到 processor 也有100条队列中的任务
processor 下游都是空的

因为默认的队列容量为 100,这说明在 processor 发生了堵塞,那就要看 processor 在干什么,是不是死掉了。

以上是 pyspider爬pdf爬了一小段时间后就不动了 的全部内容, 来源链接: utcz.com/a/159254.html

回到顶部