c++之流媒体传输--Live555源码解读 _c++

Live555是一个为流媒体提供解决方案的跨平台的C++开源项目，它实现了对标准流媒体传输是一个为流媒体提供解决方案的跨平台的C++开源项目，它实现了对标准流媒体传输协议如RTP/RTCP、RTSP、SIP等的支持。Live555实现了对多种音视频编码格式的音视频数据的流化、接收和处理等支持，包括MPEG、H.263+、DV、JPEG视频和多种音频编码
关注+私信免费领取一份99的视频学习资料哦

文章插图

流媒体服务器搭建框架：
Live555获取网络相机流?ffmpeg对获取网络相机码流转码?视频码流的高效显示
1
一、 live555、ffmpeg及D3D的简介
Live555是一个标准流媒体传输的跨平台C++开源项目。
Ffmpeg是一个音视频解码的开源项目。
DerictX9是微软的游戏引擎库。
二、搭建开发环境
a) Live555的源码编译及环境配置
b) Ffmpeg的SDK获取
c) D3D9的SDK获取
三、框架搭建
a) Live555获取相机码流的方法
a.1 支持rtsp相机的流URL地址
海康相机含账户密码的url地址格式：
Rtsp://用户名：密码@码流地址
主码流：rtsp://admin:12345@192.168.96.10/MPEG-4/ch2/main/av_stream
子码流：rtsp://admin:12345@192.168.96.10/MPEG-4/ch2/main/av_stream
a.2 live555获取rtsp流
Live555 提供了一个简单的客户端工程，testRTSPClient 。Live55获取流的过程：打开URL进入工作调度循环，当连接失败时会调用shutdownStream断开流，并执行清理工作。只有当eventLoopWatchVariable为非零时才会停止工作调度循环。需要注意的是live555支持子会话，只有当所有子会话都停止时，才会将eventLoopWatchVariable设置为非零值，退出工作调度循环。参考testRTSPClient的shutdownStream函数。
// All subsequent activity takes place within the event loop:
env->taskScheduler().doEventLoop(&eventLoopWatchVariable);
// This function call does not return, unless, at some point in time, “eventLoopWatchVariable” gets set to something non-zero.
Live555工程有一个mediaServer工程，我们可以用它来测试我们的rtsp客户端程序,此外也有一些公开的rtsp测试地址可用，比如
rtsp://218.204.223.237:554/live/1/67A7572844E51A64/f68g2mj7wjua3la7.sdp 。还有一个比较好用的播放工具 VLC，通过配置可以播放h.264的网络视频流。
b) Ffmpeg对获取到H.264码流的解码方法
Ffmpeg的工作方式类似于插件的工作方式，解码流程：
Ffmpeg初始化化?Ffmpeg解码?Ffmpeg退出清理资源
b.1、Ffmpeg初始化内容

文章插图

b.2、解码函数

文章插图

文章插图

c) D3D9 YV12图像渲染方法
c.1 初始化D3D设备,渲染视频

文章插图

文章插图

c.4设备丢失问题及解决办法
c.4.1设备丢失
Direct3D设备要么处于可操作状态，要么处于丢失状态，可操作状态即正常状态，设备按预期运行并渲染。当某些事件发生时，设备将转入丢失状态，比如在全屏状态下失去键盘焦点，这将导致无法继续渲染。设备丢失的一个特点是所有的渲染操作都会silent failure，这就意味着即使渲染操作失败了，渲染函数也能正确返回。在这种情况下，函数Present将返回D3DERR_DEVICELOST 。
c.4.2解决办法

文章插图

文章插图

d) 将三个技术组合搭建组合流媒体服务器，主要是数据的异步处理，三个技术的衔接
三个关键技术实现后，我们便可以根据工作所需组合起来实现需求。
Live555获取到流后加入缓冲队列，FFmpeg从缓冲队列中取出数据解码之后便可用D3d渲染播放，很明显，在对这个缓冲队列操作时，要使用使用锁机制操作。这其中有两个关键点。其一，视频缓冲队列要有限制，不能过大，超出一个最大值之后，就要对缓冲清理。其二D3d9的渲染速率跟live555网络流的获取速率不一致，渲染速率大于获取速率，就会造成视频卡顿。最简单的一个办法就是，按照获取速率控制渲染，即以一帧为单位渲染，缓冲中小于一帧是，就不再渲染，并让出cpu视频，Sleep一段时间。这两点总结为我们要对缓冲队列里的缓冲帧数设置一个合理的范围。