【搜索技术】学习爬虫,想抓取android应用抓包,抓取数据,用fiddler抓取,但是app里面一些数据抓取不出来,不知道怎么回事~
学习爬虫,想抓取android应用抓包,抓取数据,用fiddler抓取,但是app里面一些数据抓取不出来,不知道怎么回事~
先上下图片,再说明:
这是个运动app,我想抓取里面所有人的运动数据,比如总公里,本月里程这些,名字叫咕咚,第一张图有,下面就是进入app,点击关注的人,然后选择这个人,我在想,一个人的个人主页点进去了,上面有显示总公里这些字段显示,理论上肯定是可以抓包抓取出来的,但是我点击个人主页,用fiddler抓包,却只有个位置的信息,json格式的,怎么也找不到总公里1079.47这个字段,理论来说应该可以抓取到啊,不知道怎么回事,所以想问问,理论来说所有andorid app里面的数据传输也是http协议呀,为什么抓取不到?
回答
抓包工具:fiddler,charles;
1.如果是https请求,需要设置代理,在手机上安装相关软件的证书,以中间人攻击的方式,能够看到http传输的数据;
2.抓包开始,请清除缓存,不少app为了节约加载时间,一些数据会缓存。
3.尽量避免其他软件在抓包时的干扰,后台清理掉,或者在抓包软件中设置只针对某一个域名抓取;
这些都是公式的第三方地图的api调用, 根本不是咕咚的,你试试https协议的数据抓取吧
以上是 【搜索技术】学习爬虫,想抓取android应用抓包,抓取数据,用fiddler抓取,但是app里面一些数据抓取不出来,不知道怎么回事~ 的全部内容, 来源链接: utcz.com/a/83897.html