scrapy为什么每次执行一条抓取的时候都很慢

  • Z时代
  • 2024-02-19
  • 分类：IT

scrapy为什么每次执行一条抓取的时候都很慢

2021-11-17 17:14:27 [scrapy.core.engine] INFO: Spider opened
2021-11-17 17:14:27 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2021-11-17 17:14:27 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2021-11-17 17:14:48 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.zz.com/az/azgame/page1> (referer: None)
使用python的scrapy框架，每次执行只抓一条数据的时候，信息到这里《INFO: Telnet console》都会卡住，如上信息所示，停顿了有20多秒之后，才会有响应，使用java,php 单独请求的时候，都没有这么慢
DOWNLOAD_DELAY 参数都已经设置为0了，还是一样

回答：

你这是开启Debug模式了吧，理论上也不会这么慢的。可以尝试把Telnet Console关闭试试。
telnet终端是一个 自带的Scrapy扩展。该扩展默认为启用，不过您也可以关闭。https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/telnetconsole.html

已参与了 SegmentFault 思否社区 10 周年「问答」打卡 ，欢迎正在阅读的你也加入。

以上是 scrapy为什么每次执行一条抓取的时候都很慢 的全部内容， 来源链接： utcz.com/p/938143.html

回到顶部