FFmpeg 代码实现流媒体推流（RTSP）

最近需要做实时录屏并把视频推流到RTSP服务器，具体流程是抓取屏幕内容(bitmap)，并把bitmap转化为YUV，接着把YUV编码成H264，再把H264码流推到RTSP服务器；把采集到的PCM编码为AAC，再把AAC推流至RTSP服务器。

看了雷神的一篇文章： 最简单的基于FFmpeg的推流器（以推送RTMP为例） ，他是把本地的视频文件推流至RTMP服务器，并不符合我的要求。

接着我找到另一篇文章： ffmpeg实现H264压缩并且推流至RTSP ，这篇文章只有图像编码，并没有音频编码，并且推流之后并没有播放成功。

我综合上面两位大佬的思路，和查找一些资料实现了这个功能。

RTSP服务器使用的是 HappyTime 的免费试用版本。

我抓到的bitmap是BGRA格式的，所以使用的图像格式是 AV_PIX_FMT_BGRA ， cropImage 是含有rgba图像的数组

调用：

由于我是实时抓取的屏幕， frame_yuv->pts 设为当前的时间戳，以保证能正常播放。

调用：

调用：

其中pcm_buff是包含pcm数据的数组

使用udp传输时传到1400多帧就断开链接了，原因不明，所以改用使用tcp协议传输

延迟有1.5秒左右

参考：

https://blog.csdn.net/leixiaohua1020/article/details/39803457

https://blog.csdn.net/yunge812/article/details/79345584

https://trac.ffmpeg.org/wiki

Linux下利用gnump3d架设流媒体服务器

库文件被安装到：/usr/lib/perl5/5.8.6/gnump3d目录

man被安装到：

/usr/man/man1/gnump3d.1

/usr/man/man1/gnump3d-index.1

/usr/man/man1/gnump3d-top.1

/usr/man/man1/gnump3d.conf.1

3、配置

gnump3d的配置文件被存放在/etc/gnump3d/gnump3d.conf ，我们可以对配置文件进行修改。

gnump3d的themes被存放在/usr/share/gnump3d/目录中，所以要想换theme，可以在 gnump3d.conf中指定。

媒体文件存放在目录gnump3d.conf中，是/home/mp3 ，您也可以改为您媒体文件的目录，或者在/home中建一个mp3目录，把所有的媒体文件拷过去。

4、运行gnump3d流媒体服务器

[root@localhost gnump3d-2.9.5]# gnump3d&

或

[root@localhost gnump3d-2.9.5]# gnump3d2&

5、访问gnump3d流媒体服务器

访问地址是：http://localhost:8888/ ，您也可以让局域网的其它电脑来访问，当然要把localhost改为您的机器的IP地址，举例来说，如果您的流媒体服务器所在电脑的IP是192.168.1.6 ，那么，局域网访问地址应该是：

http://192.168.1.6:8888

对属性的配置页面：

http://localhost:8888/prefs/

6、汉化theme让界面变成中文

rtsp流在主流浏览器并不支持直接播放。比如大华的视频流：rtsp://admin:123456@

192.168.10.129/cam/realmonitor?channel=1&subtype=0，用vlc可以直接播放。但在浏览器会报ERR_UNKNOWN_URL_SCHEME。那如何在浏览器中播放呢。

以下列出几种方案。

1、安装插件（chrome最新版基本都不支持）

类如：kurento，vlc插件（谷歌浏览器版本41以下),vgx插件(不支持高版本，chrome72.0版本可用)等。

2、安装软件（中间件，基本都付费）

类如：Appemit（调用vlc插件播放rtsp），可以免安装的，目前只能windows,免费版会有提示。

猿大师中间件（底层调用VLC的ActiveX控件，实现在主流浏览器网页中内嵌播放多路RTSP的实时视频流），中间件收费的。

PluginOK(牛插)中间件。底层调用ActiveX控件VlcOcx.dll。（商业用途需付费使用）

3、服务器拉流转发及协议转换

示意图如下所示：

推流--------------服务器转发--------------拉流

方法一览：

a,vlc软件串流到http协议 ，网页显示几个视频需启动几个vlc,只适合应急场景。

b,html5 + websocket_rtsp_proxy 实现视频流直播 ，基于MSE（Media Source Extensions,W3C），扩展H5的功能。

步骤：服务器安装streamedian服务器，客户端通过video标签播放。

原型图：

价格：

c.基于nginx的rsmp转发

基于nginx实现rtmp转化，用flash实现播放。由于flash目前大多浏览器默认禁用，不推荐此方式。

步骤：安装ffmpeg工具,安装nginx。

另外nginx-rtmp-module也支持HLS协议,可以搭建基于hls的直播服务器。

d.rtsp转hls播放,通过ffmpeg转码

步骤：安装ffmpeg工具，ffmpeg转码。

形如：

ffmpeg -i "rtsp://admin:123456@192.168.10.129/cam/realmonitor?channel=1&subtype=0" -c copy -f hls -hls_time 2.0 -hls_list_size 0 -hls_wrap 15 "D:/hls/test.m3u8"

缺点是直播流延时很大，对实时要求比较高的不满足要求。

案例：基于EasyDarwin拾建转码服务器。参考地址:https://blog.csdn.net/jyt0551/article/details/84189498

通过存储的m3u8去读取。

e.websocket代理推送，FFMPEG转码

此方法与a，b类似。但更实用。

以下提供两种方案：

（1）Gin+WebSocket+FFMPEG实现rtsp转码,参考：https://juejin.cn/post/6844904024072798216

通过FFMPEG把rstp转成http，ginrtsp作为转发服务器，但需要自己写相应接口，需要了解go语言。

（2）node + ffmpeg + websocket + flv.js，参考：https://juejin.cn/post/6908641550046068744

步骤：在node服务中建立websocket；通过fluent-ffmpeg转码，将RTSP 流转为flv格式；通过flv.js连接websocket，并对获取的flv格式视频数据进行渲染播放。

import WebSocket from 'ws'import webSocketStream from 'websocket-stream/stream'import ffmpeg from 'fluent-ffmpeg'// 建立WebSocket服务const wss = new WebSocket.Server({ port: 8888, perMessageDeflate: false })// 监听连接wss.on('connection', handleConnection)// 连接时触发事件function handleConnection (ws, req) {  // 获取前端请求的流地址（前端websocket连接时后面带上流地址）  const url = req.url.slice(1)  // 传入连接的ws客户端 实例化一个流  const stream = webSocketStream(ws, { binary: true })  // 通过ffmpeg命令 对实时流进行格式转换 输出flv格式  const ffmpegCommand = ffmpeg(url)    .addInputOption('-analyzeduration', '100000', '-max_delay', '1000000')    .on('start', function () { console.log('Stream started.') })    .on('codecData', function () { console.log('Stream codecData.') })    .on('error', function (err) {      console.log('An error occured: ', err.message)      stream.end()    })    .on('end', function () {      console.log('Stream end!')      stream.end()    })    .outputFormat('flv').videoCodec('copy').noAudio()  stream.on('close', function () {    ffmpegCommand.kill('SIGKILL')  })  try {    // 执行命令 传输到实例流中返回给客户端    ffmpegCommand.pipe(stream)  } catch (error) {    console.log(error)  }}

优点全部基于js。前端即可搞定。

参考:https://www.zhihu.com/question/29973696

---