直播中音视频处理的一般流程

1、数据采集：

摄像机及拾音器收集视频及音频数据，此时得到的为原始数据

涉及技术或协议：

摄像机：CCD、CMOS

拾音器：声电转换装置（咪头）、音频放大电路

2、数据编码：

使用相关硬件或软件对音视频原始数据进行编码处理（数字化）及加工（如音视频混合、打包封装等），得到可用的音视频数据

涉及技术或协议：

编码方式：CBR、VBR 编码格式视频：H.265、H.264、MPEG-4等，封装容器有TS、MKV、AVI、MP4等音频：G.711μ、AAC、Opus等，封装有MP3、OGG、AAC等

3、数据传输：

将编码完成后的音视频数据进行传输，早期的音视频通过同轴电缆之类的线缆进行传输，IP网络发展后，使用IP网络优传输

涉及技术或协议：

传输协议：RTP与RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等

控制信令：SIP和SDP、SNMP等

4、解码数据：

使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音

涉及技术或协议：

一般对应的编码器都会带有相应的解码器，也有一些第三方解码插件等

5、播放显示：

在显示器（电视、监视屏等）或扬声器（耳机、喇叭等）里，显示相应的图像画面或声音

涉及技术或协议：

显示器、扬声器、3D眼镜等

图玩智能科技为企业提供专业的直播技术支持，提供直播平台的二次开发服务，欢迎随时咨询www.toivan.com.