教你用20行代码爬取直播平台弹幕（附源码）[Python基础]

Z时代
2024-01-10
分类：综合

python

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

基本开发环境

Python 3.6

Pycharm

相关模块的使用

import requests

斗鱼直播视频弹幕爬取分析

斗鱼就选择<一条小团团>的直播视频，毕竟大主播弹幕发送会多一些。

复制其中一条弹幕，复制在开发者工具当中进行搜索。就可以看到相对应的弹幕数据。

一个url地址，是包含了500条弹幕数据。

url地址有三个参数：

vid：视频ID （不改变的）

start_time：视频开始的时间

end_time：不改变的

前500条弹幕数据开始的时间是0，就是从视频最开始的时候，下一个开始的时候是可以在数据中找到的。

end_time：500条弹幕数据结束的时间，那不就是下一次弹幕数据开始的时间嘛。

最后一次的弹幕url地址：end_time：-1 ，所以给一个判断跳出循环即可。

完整实现代码

import requests
url = "https://v.douyu.com/wgapi/vod/center/getBarrageList?vid=Bjq4MeYNqLxM5Ea8&start_time=0&end_time=-1"
while True:
    headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
    }
    response = requests.get(url=url, headers=headers)
    html_data = response.json()
    next_time = html_data["data"]["end_time"]
    lis = html_data["data"]["list"]
for li in lis:
        barrage = li["ctt"]
        with open("dy弹幕.txt", mode="a", encoding="utf-8") as f:
            f.write(barrage)
            f.write("
")
print(barrage)
    url = f"https://v.douyu.com/wgapi/vod/center/getBarrageList?vid=Bjq4MeYNqLxM5Ea8&start_time={next_time}&end_time=-1"
if next_time == -1:
break

总计弹幕数量：8627

词云效果

虎牙直播视频弹幕爬取分析

主播那肯定是选择<永远滴神>

分析思路和斗鱼弹幕是一样的。

url地址有4个参数：

callback：可以不添加，不添加可以直接取json数据，添加之后就是字符串

vid：视频ID （不改变的）

beginTime：视频开始的时间

_：时间戳

下次开始的时间在数据接口中同样有。

完整实现代码

import requests
import time
now_time = int(time.time() * 1000)
url = f"https://cxt.huya.com/open/danmu/timelist.do?vid=431927895&beginTime=0&_={now_time}"
while True:
    headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
    }
    response = requests.get(url=url, headers=headers)
    html_data = response.json()
if html_data:
        nextBeginTime = html_data["nextBeginTime"]
        lis = html_data["list"]
for li in lis:
            barrage = li["text"]
            with open("hy弹幕.txt", mode="a", encoding="utf-8") as f:
                f.write(barrage)
                f.write("
")
        url = f"https://cxt.huya.com/open/danmu/timelist.do?vid=431927895&beginTime={nextBeginTime}&_={now_time}"
print(nextBeginTime)
else:
break