scrapy中的每个请求之间如何给延迟？

• Z时代
• 2024-01-10
• 分类：问答

我不想同时爬行并被阻止。我想每秒发送一个请求。

回答：

DOWNLOAD_DELAY

默认： 0

从同一网站下载连续页面之前，下载程序应等待的时间（以秒为单位）。这可以用来限制爬网速度，以避免对服务器造成太大的冲击。

DOWNLOAD_DELAY = 0.25    # 250 ms of delay

以上是 scrapy中的每个请求之间如何给延迟？ 的全部内容， 来源链接： utcz.com/qa/433826.html