爬虫爬取信息比浏览器少

http://www.weather.com.cn/weather1d/101010100.shtml#search
爬取这个网站的天气信息,爬虫爬取到的信息比浏览器少,例如这个块信息,
浏览器是这样的爬虫爬取信息比浏览器少
而爬取到的信息是这样的
爬虫爬取信息比浏览器少
求大神解惑


回答:

从页面加载情况看,刚开始这部分是不显示的就可以基本判断是ajax异步加载了。

所以你通过脚本获得的仅仅是未渲染的原始html,没有渲染和执行javascript进行获取动态数据。

可以查看network研究哪个请求获得的你需要的数据,然后直接脚本请求那个数据接口即可

爬虫爬取信息比浏览器少

以上是 爬虫爬取信息比浏览器少 的全部内容, 来源链接: utcz.com/a/161078.html

回到顶部