Python批量爬取糗事百科短视频,有意思的视频还是蛮多的
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
本次目标
爬取糗事百科视频
地址
https://www.qiushibaike.com/video/
环境
Python3.6
pycharm
分析网页获取视频真实地址
1、鼠标右键点击检查,可以看到网页中是有视频地址~
2、鼠标右键点击查看源代码,搜索视频地址查看网页源代码是否也有视频地址
糗事百科是一个静态网页,对于爬取网站视频还是比较简单的~
爬虫代码
导入工具
import requestsimport reimport time
请求网站
url = "https://www.qiushibaike.com/video/page/{}/".format(page)headers
= {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"}
response
= requests.get(url=url, headers=headers)
解析网站
for li in lis:video_url
= "https:" + lititle
= li.split("/")[-1]download(video_url, title)
保存数据
def download(url, title):path
= "保存数据地址" + titleresponse
= requests.get(url=url)with open(path, mode
="wb") as f:f.write(response.content)
运行代码,结果如下图
以上是 Python批量爬取糗事百科短视频,有意思的视频还是蛮多的 的全部内容, 来源链接: utcz.com/z/531203.html