爬虫爬取信息比浏览器少
http://www.weather.com.cn/weather1d/101010100.shtml#search
爬取这个网站的天气信息,爬虫爬取到的信息比浏览器少,例如这个块信息,
浏览器是这样的
而爬取到的信息是这样的
求大神解惑
回答:
从页面加载情况看,刚开始这部分是不显示的就可以基本判断是ajax异步加载了。
所以你通过脚本获得的仅仅是未渲染的原始html,没有渲染和执行javascript进行获取动态数据。
可以查看network研究哪个请求获得的你需要的数据,然后直接脚本请求那个数据接口即可
以上是 爬虫爬取信息比浏览器少 的全部内容, 来源链接: utcz.com/a/161078.html