请教scrapy的需求矛盾问题！！！很纠结！！
通过scrapy爬一个api,有很多页数据，其中response中有一个lastId参数，用于翻页，并且是发起request的必须参数。lastId不是简单的数字，而是该页最后一个用户的id，完全没有规律，lastId实时变化(数据不断更新)，所以只能一页一页的爬取，因为爬了第一页并获取lastId，才能爬第二页。
那么问题来了，scrapy是异步的，但是如上所述，整个过程似乎是只能同步，并且是阻塞的。那么这跟scrapy异步高性能的特点截然相反，是不是用不了scrapy？
求大神指点！！！
回答：
requests不香吗
回答：
你问scrapy支不支持分页抓取的需求, 肯定是支持的.
回答：
inline_requests 了解下
以上是 请教scrapy的需求矛盾问题！！！很纠结！！ 的全部内容， 来源链接： utcz.com/p/937948.html
