Python爬虫练习：腾讯视频弹幕数据采集

  • Z时代
  • 2024-01-10
  • 分类：综合

python

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

以下文章来源于菜鸟学Python数据分析

1.网页分析

本文以爬取《脱口秀大会 第3季》最后一期视频弹幕为例，首先通过以下步骤找到存放弹幕的真实url。

 

通过删减各参数，发现仅有timestamp参数的变化会影响弹幕数据的爬取，且timestamp参数是首项为15，公差为30的等差数列。可以大胆猜测腾讯视频每30秒更新一页弹幕数据，该视频长度为12399秒。而数据格式为标准的json格式，因此json.loads直接解析数据即可。

 

2.爬虫实战

import requests
import json
import time
import pandas as pd
df = pd.DataFrame()
for page in range(15, 12399, 30):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    url = "https://mfm.video.qq.com/danmu?otype=json×tamp={}&target_id=5938032297%26vid%3Dx0034hxucmw&count=80".format(page)
print("正在提取第" + str(page) + "页")
    html = requests.get(url,headers = headers)
    bs = json.loads(html.text,strict = False)  #strict参数解决部分内容json格式解析报错
    time.sleep(1)
#遍历获取目标字段
for i in bs["comments"]:
        content = i["content"]  #弹幕
        upcount = i["upcount"]  #点赞数
        user_degree =i["uservip_degree"] #会员等级
        timepoint = i["timepoint"]  #发布时间
        comment_id = i["commentid"]  #弹幕id
        cache = pd.DataFrame({"弹幕":[content],"会员等级":[user_degree],
"发布时间":[timepoint],"弹幕点赞":[upcount],"弹幕id":[comment_id]})
        df = pd.concat([df,cache])
df.to_csv("tengxun_danmu.csv",encoding = "utf-8")
print(df.shape)

3.数据预览

以上是 Python爬虫练习：腾讯视频弹幕数据采集 的全部内容， 来源链接： utcz.com/z/530346.html

回到顶部