pyspider爬pdf爬了一小段时间后就不动了
下载了一小部分之后就不动了,stop之后重新跑也没有任何反应,有人知道是怎么回事吗?谢谢大家。
回答:
放代码吧 骚年
回答:
根据 dashboard 最上方的信息
scheduler 到 fetcher 有100条队列中的任务
fetcher 到 processor 也有100条队列中的任务
processor 下游都是空的
因为默认的队列容量为 100,这说明在 processor 发生了堵塞,那就要看 processor 在干什么,是不是死掉了。
以上是 pyspider爬pdf爬了一小段时间后就不动了 的全部内容, 来源链接: utcz.com/a/159254.html