live555库本身实现了做rtsp服务器,客户端可以通过rtsp客户端访问服务器上的文件并播放,支持的文件格式如下:
本次任务实现了把live555移植到嵌入式海思芯片hi3516上做rtsp服务器,除了支持客户端播放服务器上上面格式文件外,另添加了实时播放hi3516摄像头图像与音频的功能。
live555源码目录如下:
四个基本的库分别是:BasicUsageEnvironment, groupsock, liveMedia和UsageEnvironment。
编译后即生成这4个库文件:
这里我只简单说下liveMedia库的功能,其他三个库是live555运行的基础库,太(mei)简(yan)单(jiu),就不说了。
liveMedia库包含了音视频相关的所有功能,包含音视频文件的解析,RTP传输封装等,我们可以看到这个目录下有对h264、AAC等文件解析的支持:
交叉编译过程:略
这里我主要是修改mediaServer文件夹下的示例程序,添加实时预览摄像头图像与mic声音功能。
hi3516芯片,视频编码格式为h264,音频编码格式为AAC。
1.添加音频AAC支持
添加类 ADTSAudioLiveSource ,继承自FramedSource
在该类的doGetNextFrame函数里实现获取hi3516音频数据做为rtsp服务器音频源。
注意点:
1.1 adts默认是带7字节或者9字节的头,传给rtsp的时候是要去掉头的,实际上RTSP通过rtp传输AAC帧的时候是不带adts头的,而是带4个字节的mpeg4-generic头。
1.2 从FramedSource继承而来的变量
每次doGetNextFrame帧时,从FIFO里取一个完整的AAC帧,把帧拷贝到fTo buf里面,然后比较帧大小与fMaxSize来赋值几个关键的变量:
注意,不管帧长是否大于fMaxSize,每次都需要把完整的帧拷贝到fTo指针,live555内部会根据fNumTruncatedBytes等变量自行处理分包。
1.3 doGetNextFrame函数最后不管有没有取到帧,都需要执行FramedSource::afterGetting
1.4 采样率,通道数,configstr等的计算
这几个变量在mediaSubbsession建立RTPsink时要用到,它直接影响了SDP里对于AAC音频描述字段的产生
添加类 AACAudioLiveServerMediaSubsession ,继承自ADTSAudioFileServerMediaSubsession
createNewStreamSource函数创建上面的ADTSAudioLiveSource做为音频输入源,参数estBitrate为预估的码率,海思AAC编码码率设置为24kbps,所以estBitrate设置为24.
createNewRTPSink有必要继承,因为需要根据音频源的采样率、通道数等创建RTPSink.
2.添加h264支持
添加 H264FramedLiveSource ,继承自FramedSource
unsigned maxFrameSize()函数必须继承,里面设置帧最大可能的大小,我设置为100000,如果不继承就是默认的,会出现画面马赛克
doGetNextFrame函数里面和AAC取帧的处理差不多,我加多了一个步骤,就是第一次取帧的时候会调用接口去产生一个关键帧,并且等待这个关键帧到来才处理,这样连接后出图会比较快。
添加类 H264VideoLiveServerMediaSubsession ,继承自H264VideoFileServerMediaSubsession
这个类就是实现createNewStreamSource时创建H264FramedLiveSource
3.修改DynamicRTSPServer
修改类DynamicRTSPServer,在lookupServerMediaSession函数里动点手脚,默认在这个函数里面会根据文件名去寻找服务器下相应的文件做为直播源,我这里比较如果是我特定的live源名字则直接返回,相应的live源创建rtsp服务器的时候就添加好
4.初始化rtsp server
初始化rtsp服务器,添加一个ServerMediaSession,该mediaSession添加一个AACAudioLiveServerMediaSubsession和一个H264VideoLiveServerMediaSubsession,然后把该mediaSession添加给rtsp服务器。
客户端访问 rtsp://x.x.x.x/ch0.live 时就可以看到实时的摄像头图像与声音啦!
华为将所有曾经打造的备胎,一夜之间全部转‘正’,确保公司大部分产品的战略安全和连续供应”。 5月17日下午,华为消费者业务CEO余承东转发华为海思总裁致员工信并配上评论称,消费芯片一直就不是备胎,一直在做主胎使用,华为始终坚持打造自己芯片的核心能力,坚持使用与培养自己的芯片。
海思成立于2004年,其前身是创建于1991年的华为集成电路设计中心。该公司是一家半导体和IC设计公司,提供连接和多媒体芯片组解决方案,包括为无线通信、智能设备、数据中心、人工智能、视频和物联网应用等领域提供芯片。该公司官网显示,其拥有7000多名员工,8000多项专利。
在海思推出的一众产品中,麒麟芯片最为外界所知,广泛应用在华为智能手机产品上。2014年5月,华为首次发布麒麟芯片,并搭载于华为智能手机P7上。随后,华为多次发布搭载麒麟芯片的智能手机。除了手机芯片,海思的产品还有服务器芯片(鲲鹏系列)、基站芯片、基带芯片、AI芯片等等。
美方供应商股价大跌,A股华为概念股大涨美国时间5月15日,美国总统特朗普签署行政命令,要求美国进入紧急状态,禁止美国企业使用任何可能会危害国家安全的公司生产的通讯设备。北京时间5月16日上午,华为发布声明称,“封杀令”将使美国在5G建设中落后。
在白宫宣布签署限制令后不久,美国商务部对外表示已将华为和其70家子公司添加到实体名单中。这意味着,华为需要经美国政府批准的情况下才能从美国公司购买零件。外媒援引美国官员称,这一决定将使华为难以或基本不可能销售产品,其将在未来几年生效。
华为海思下面有三个大的业务部门:图灵、联接、无线终端。细分就是:
1.图灵下面还有做GPU的笛卡尔,做AI芯片的_腾,做服务器CPU的鲲鹏等;
2.联接下面有做5G基站芯片的天罡芯片部门(这个其实很厉害,大多数人只知道手机的麒麟),有做WiFi蓝牙GPS芯片的短距通信,以及相关的射频团队等;
3.无线终端下面我知道的就是做4G5G基带芯片的巴龙,应该还有和网络交换等相关的一些业务。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)