使用python抓取ajax页面
我已经看过有关刮Ajax的问题,但是这里没有提到python。我考虑过使用scrapy,我相信他们有一些关于该主题的文档,但是正如你所看到的,该网站已经关闭。所以我不知道该怎么办。我要执行以下操作:
我只有一个网址,例如example.com,你可以通过单击“提交”来逐页浏览,由于使用ajax来显示内容,因此该网址不会更改。我想抓取每个页面的内容,怎么做?
可以说我只想抓取数字,除了scrapy以外,还有其他方法可以做到吗?如果没有,你能不能给我一个有关如何做到这一点的片段,仅仅是因为他们的网站关闭了,所以我找不到文档。
回答:
首先,scrapy文档可在http://doc.codingdict.com/scrapy/index.html。
谈到在抓取Web时处理Ajax。基本上,这个想法很简单:
- 打开浏览器开发者工具的“网络”标签
- 前往目标地点
- 单击提交按钮,查看将向服务器XHR发送什么请求
- XHR在你的蜘蛛中模拟此请求
以上是 使用python抓取ajax页面 的全部内容, 来源链接: utcz.com/qa/417444.html