Android手机直播之差网络处理和发送

Z时代
2024-01-10
分类：综合

差网络处理

好的网络下视音频能够得到及时的发送，不会造成视音频数据在本地的堆积，直播效果流畅，延时较小。而在坏的网络环境下，视音频数据发送不出去，则需要我们对视音频数据进行处理。差网络环境下对视音频数据一般有四种处理方式：缓存区设计、网络检测、丢帧处理、降码率处理。

1、缓冲区设计
视音频数据传入缓冲区，发送者从缓冲区获取数据进行发送，这样就形成了一个异步的生产者消费者模式。生产者只需要将采集、编码后的视音频数据推送到缓冲区，而消费者则负责从这个缓冲区里面取出数据发送。

要构建异步的生产者消费者模式，java已经提供了很好的类，由于之后还需要进行丢帧、插入、取出等处理，显然LinkedBlockingQueue是个很不错的选择。

2、网络检测
差网络处理过程中一个重要的过程是网络检测，当网络变差的时候能够快速地检测出来，然后进行相应的处理，这样对网络反应就比较灵敏，效果就会好很多。
我们这边通过实时计算每秒输入缓冲区的数据和发送出去数据，如果发送出去的数据小于输入缓冲区的数据，那么说明网络带宽不行，这时候缓冲区的数据会持续增多，这时候就要启动相应的机制。

3、丢帧处理
当检测到网络变差的时候，丢帧是一个很好的应对机制。视频经过编码后有关键帧和非关键帧，关键帧也就是一副完整的图片，而非关键帧描述图像的相对变化。
丢帧策略多钟多样，可以自行定义，一个需要注意的地方是：如果要丢弃P帧（非关键帧），那么需要丢弃两个关键帧之间的所有非关键帧，不然的话会出现马赛克。对于丢帧策略的设计因需求而异，可以自行进行设计。

4、降码率
在Android中，如果使用了硬编进行编码，在差网络环境下，我们可以实时改变硬编的码率，从而使直播更为流畅。当检测到网络环境较差的时候，在丢帧的同时，我们也可以降低视音频的码率。在Android sdk版本大于等于19的时候，可以通过传递参数给MediaCodec，从而改变硬编编码器出来数据的码率。

Bundle bitrate =newBundle();bitrate.putInt(MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, bps *1024);