CrawlSpider循环抓取网页

• Z时代
• 2024-01-10
• 分类：技术分享

在用CrawlSpider进行爬取网页新闻的时候我定义的rules是这样的

现在遇到的问题是在这些网页中有的有‘下一页’按钮，而按钮的跳转链接是相对的，比如是page2.html这类的，这样的链接不符合我定义的正则提取规则，导致第二页的页面抓取不下来，请问可以怎么修改呢？拜托拜托大家了

回答：

rules是Rule的列表，所以你可以放多个规则不同的Rule

以上是 CrawlSpider循环抓取网页 的全部内容， 来源链接： utcz.com/a/161033.html