Python爬虫实战：炉石传说卡牌、原画数据抓取

python

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

原画爬取

先看一下炉石传说的原画：
炉石传说原画链接:
http://news.4399.com/gonglue/lscs/kptj/

该网站通过点击查看更多加载新的内容，本打算使用Selenium模拟点击获取图片信息，尝试发现源码中该按钮并无相应的跳转链接

这不应该啊没有相应的跳转链接点击后是如何加载新的图片？

后来浏览整体网站源码后发现把问题想复杂根本不需要模拟点击查看更多

网站其实已经加载了所有的卡牌原画只是之后的原画做了隐藏处理默认不展示 style=display

点击查看更多后显示原画

那么只需使用requests获取网页源码

用BeautiSoup/正则表达式/pyQuery解析元素遍历相应img的url 即可下载

教训：爬虫前不要根据网页所对的操作实施相应的代码爬取不要有这样的思维定式首先要做的是先大体浏览分析整个网页的源代码有的可能直接写在源码或json或js中无需再加工

炉石传说卡牌链接:
http://cha.17173.com/hs/

该网站通过下拉右边的滚动条不断加载新的卡牌

与上一个网站不同上一个网站一次性写入了所有卡牌只不过做了隐藏处理

该网站是通过js动态加载渲染出的卡牌直接获取源码无法得到所有卡牌信息

那么就用selenium模拟下拉滚动条（selenium简直居家必备之神器）

使用selenium执行js脚本每次执行下拉1000个单位滚动条执行90次

为什么是90次测试出来的大概90次拉到底

注意：这里要增加1~3秒的暂停时间用于网页渲染

第一次没有设置停留时间无法获取新的数据怀疑自己怀疑人生

经前端/后端好友L君的提示需增加暂停时间这样才能获得加载渲染后的数据

browser.page_source便可获得动态加载的所有数据

有了数据之后就很简单正则匹配获取相应url下载即可

既然获得了这么多卡牌和原画不能浪费利用起来拼图！

以上文章来源于码农小黑屋，作者丨像我这样的人丨