智能视频监控系统详细设计思路

随着宽带有线和无线网络基础设施的完善以及全球安防市场需求的增长，视频监控的应用正呈爆发性的增长态势。视频监控系统的发展趋势非常明显，在经历了数字化和网络化之后，下一个重要的趋势就是智能化，即智能监控和视频分析技术的应用。 传统的视频监控由人工进行视频监测发现安全隐患或异常状态，或者用于事后分析，这种应用具有其固有的缺点，难以实现实时的安全监控和检测管理。带有智能分析功能的监控系统可以通过区分监控对象的外形、动作等特征，做到主动收集、分析数据，并根据预设条件执行报警、记录、分析等动作。智能监控系统可以运行于服务器，也可以运行在基于DSP的嵌入式系统上，而后者已逐渐成为主流。 智能视频的应用大体上可以分安防、人体行为检测和智能交通三方面的应用。其中安防应用是被广泛认为是最具潜力的市场，它包括以下几个应用类别：入侵检测，可以自动检测出视频画面中的运动行为特征；物品移除检测，可以自动检测物品搬移事件——当防区内某特定位置的物品被拿走或搬走时发出报警；遗留物检测，可以对遗弃物进行自动检测——当物品在某个防区内被放置或遗弃的时候自动报警；智能跟踪，可以使摄像机对自身的云台和变焦镜头进行自主PTZ驱动。人体行为检测应用包括脱岗检测（可以实现自动检测岗哨人员就位情况）、徘徊检测（对重要区域人体徘徊检测）。智能交通应用包括：对非法停留的交通工具进行检测，当交通工具在防区内非法停留时发出报警；车辆逆行检测，及时辨别逆行车辆。 随着准确率和可靠性逐步提高及产品成本的下降，智能视频在越来越多的场合得到了应用，它能够替代部分安防设备，降低安保人员的工作强度，提高工作效率，减少管理成本。事实上，智能视频的应用具有非常巨大的潜力。随着技术日趋成熟，智能视频技术的应用领域正在迅速扩展，这些应用主要包括上述的安防、交通以及零售、服务等行业，如人数统计、人脸识别、人群控制、注意力控制和交通流量控制等。 实时视频监测的需求正在快速增长，特别是随着实时安全监控应用的需求增加，实时发现安全隐患或目标异常行为的功能已经具有越来越重要的现实意义，智能视频监测系统产品在这种日益增长的需求带动下，正在成为视频监控应用的新热点。特别是随着半导体技术的进步，例如以Blackfin汇聚式处理器为代表的先进嵌入式解决平台方案的推出，具有极高性价比和极高实用性的智能视频分析设备不断推出，并在一些关键应用中发挥极为重要的作用。 图1：传统的视频监控应用示意图。 智能视频应用设计攻略 硬件平台方案的选择往往决定了系统的整体方案成本、性能、开发工具和方法的可用性，以及方案未来持续升级的可行性等，因此方案平台选型至关重要。智能视频应用自身的独特性要求在硬件平台的选择上进行综合权衡。视频监控系统的网络化和智能分析要求，以及大规模工程安装对成本、体积和功耗的限制，非标准化的智能视频分析方法和几乎定制化的方案优化方式，使得结合了MCU和DSP优势、具有软件设计灵活性和强大处理能力的汇聚式处理器方案平台体现出更加明显的优势。本文将结合ADI公司独特的Blackfin汇聚式DSP处理器的特点，分析智能视频设计中主要的设计技术要点。 一、硬件平台选型 可定制化能力非常重要。有很多因素制约着视频监控系统智能化的应用步伐：首先是智能监控的视频算法比较复杂，难于标准化，各个系统提供商的视频分析软件都有自己的独特算法，导致市场上的产品没有统一的标准；其次，视频监控系统的应用场景比较复杂，用户的要求多样化，所以定制化的要求比较多。因此，视频分析方案通常需要针对客户的应用特点和需求进行方案优化，采用的算法千差万别。此外，由于智能视频应用的高复杂性，对方案的处理能力提出了更高的要求。MCU+ASIC的视频监控传统方案难以实现各种个性化的设计和高运算能力要求，即使选择普通DSP+MCU的双芯片方案通常也难以满足智能视频监控应用的复杂运算需求，需要增加协处理器，这种复杂的解决方案无论是BOM成本、功耗还是开发难度都不足取。Blackfin处理器充分发挥了MCU+DSP汇聚式架构的优势，满足了智能视频应用的系统控制和高强度的运算需求，特别是以BF561为代表的高性能双内核架构已经成为智能视频应用的首选方案平台。 方案的可扩展性也是需要考虑的因素。智能视频分析应用除了需要针对应用环境、应用目的进行方案优化外，不同的客户可能还有其他方面的不同需求。例如，当前一些领先的数字视频监控方案实现了H.264基本类@Level3.0和MPEG4 D1+CIF双码流的支持，未来可能扩展到支持H.264 D1+CIF的双码流。随着智能视频分析的更广泛应用，如IP摄像机、无线视频监控、智能交通系统等，不同应用都可能对各种接口功能、通信标准、用户界面等的需求有较大的差异化，硬件平台方案对各种需求的灵活扩展性非常重要。同时，正如前文所述，智能视频分析技术发展不过数年的时间，随着技术的不断成熟以及一些相关的标准的出台和改进，产品的可升级特性至关重要，既是开发者须关注的问题也是终端客户关切的重要特性。Blackfin DSP在算法并行处理上具有独特优势，特别是ADSP-BF561采用双DSP核，能够实现很复杂的智能视频处理算法。 视频应用优化特性。一些方案尽管具有较强的处理能力和可扩展性，方案是否主要针对视频应用进行过优化设计也值得关注，因为这直接关系到设计工程师可用的软硬件设计资源以及系统设计难度和可实现的性能。以Blackfin处理器为例，Blackfin为高强度、高数据率的数字和媒体处理做了专门优化：Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量、高数据吞吐率的要求；ADI专门开发了完全优化的音视频编解码器，并免费提供给大客户；针对视频应用Blackfin集成了很多硬件驱动，包括WiFi的驱动、音/视频编解码器的驱动；Blackfin的4个视频算术运算单元和视频象素指令集大大加速了视频运算速度；在智能视频分析的一些基础算子中，例如直方图统计、中值运算、Sobel运算、形态学中的膨胀运算等都可以利用Blackfin的MIN、MAX指令来消除条件跳转，节省处理器周期。不仅如此，Blackfin还支持13种非视频数据的向量运算。适当设计数据结构，在前背景分离、阈值计算和更新等多个环节都可以运用Blackfin的特色指令让智能视频分析算法更快捷。这些本身就很有效的指令中，大部分指令都能够并行执行，使得Blackfin的处理能力再加倍。 低功耗和稳定性很重要。考虑到智能视频监控设备通常都是一周7天，每天24小时运行的，稳定性和功耗也比较重要。在低功耗上，Blackfin处理器采用了多种节能技术：基于一种选通时钟内核设计，可按照逐条指令来选择性地切断功能单元的电源；支持多种针对所需CPU动作极少期间的断电模式；Blackfin处理器支持一种自含动态电源管理电路，借助该电路即可对工作频率和电压进行独立控制，以满足正在执行的算法的性能要求；大多数Blackfin处理器都提供片上内核稳压电路，并可在低至0.8V的电压下工作。而Blackfin独特的汇聚式处理架构、90nm工艺等打下了其领先的低功耗处理的基础。由于高处理能力，基于Blackfin平台的系统方案可以减少主芯片数量，丰富的功能和接口可以满足各种外设和功能扩展需求，降低元器件数量，从而保证更高的稳定可靠性。目前在同价位DSP中Blackfin DSP的低功耗特性和稳定性是最好的。 支持哪些嵌入式操作系统。智能视频分析通常是基于网络的应用，必须要操作系统的支持，因此选择具有广泛嵌入式系统支持能力的解决方案非常重要，这样能确保未来产品在更换操作系统时不至于必须更换硬件平台，保证研发成果的持续可用性。目前可用的嵌入式操作系统众多，各具优势，硬件平台方案对这些操作系统的支持能力是进行方案选型的考虑要点之一。例如，Blackfin处理器可以支持目前主流的操作系统，包括uCLinux、ThreadX、Nucleus，uCOS-II等十多种嵌入式操作系统，客户完全可以根据其自身要求选择其熟悉的或更具成本效益的软件架构基础。 图2：基于BF561的智能监控终端框图。 二、开发工具和可用资源 智能视频监控设备是一个复杂的系统，涉及到复杂的软硬件设计、人机界面、通信连接等，具有较高的系统设计难度。因此，所选择的硬件平台方案是否能提供完善的开发工具套件、必要的软件模块、成熟的参考设计、系统设计支持，以及是否有完整的设计生态系统等，对于是否能按期高质量地完成系统设计非常关键。事实上，并不是所有平台方案提供商都能提供这些支持。 以Blackfin系列处理器为例，采用Blackfin处理器的硬件平台从一般的DVR、IP摄像机、数字视频监控到智能视频监控，已经被全球大量的设备企业的广泛采用。Blackfin处理器获得众多企业的青睐，具有完整的开发工具和参考设计等支持是其受广泛欢迎的重要原因之一。ADI提供业界一流的工具、初学套件与支持，包括人们熟知的、能够支持其他Blackfin处理器的ADI CROSSCORE?软件与硬件工具，这些工具包括获奖的VisualDSP++?集成开发与调试环境（IDDE）、仿真器，以及EZ-KIT Lite?评估版硬件。 为提高开发效率，降低开发难度，开发时应尽量在已有的资源上进行，比如开放的例程，ADI为此提供了非常丰富的例程和资料。例如，ADI提供免费的“Image Tool Box”图像处理函数库软件包，该软件包专门针对图像处理应用常用的数学函数进行了优化，供客户在进行应用开发时调用。ADI还提供完整的参考设计，以及由本地合作伙伴开发的评估板、开发工具、算法IP、应用模块，以及由第三方合作伙伴提供包括软硬件在内的全套交钥匙方案。Blackfin处理器的视频监控应用目前在中国已经有多家具有丰富工程经验的第三方合作伙伴，已经建立完善的生态系统。 以ADI在今年三月份宣布提供基于该公司Blackfin BF526C的完整的IP监控和机器视觉摄像头参考设计为例，该参考设计在单个汇聚处理器上提供了强大的视频和音频处理能力，为工程师提供了一个统一的软件开发环境，可以实现更快的系统调试和部署，以及更低的系统成本。该处理器提供了集成的音频编解码器、流式视频和IP协议、片上DRAM存储器以及针对10/100以太网、USB和SD存储和本地RS-232端口的接口。这种完全可编程的解决方案可以满足多种视频压缩标准，例如H.264和MPEG4，支持音频G.729标准的编码。支持从控制中心到相机的双向语音通信，以及利用Pelo-P或Pelo-D协议的镜头平移、倾斜和拉伸动作。该参考设计还提供一块带双核BF561处理器的子卡，使系统能实现更高视频分辨率，并提供实现高级视频分析功能，如运动检测和跟踪。 应用方案揭秘——亿维东方智能网络摄像机 北京亿维东方科技有限公司（Emvideo）是专业智能安防产品的方案提供商，也是美国ADI公司授权的第三方合作伙伴。亿维东方目前有多款基于ADI Blackfin处理器为核心的硬件平台的产品，其中“软件＋硬件”交钥匙的WiFi无线视频监控整体解决方案基于BF536＋BF561的双处理器架构，方案硬件结构图如图3所示。 其中BF536处理器作为主处理器，除负责完成音频编码、远程控制以及用户交互控制等一些基本的管理与控制外，还负责嵌入式操作系统uClinux的运行，以及先进的智能视频分析功能，可以完成安防、人体行为、智能交通等多种智能视频分析。双核BF561作为协处理器负责视频编码算法，其强大的视频处理能力使得该方案实现了H.264基本类@Level3.0和MPEG4 D1+CIF双码流的支持，未来更将可能扩展到能够支持H.264 D1+CIF的双码流。两个处理器之间可以通过高速同步串行接口通讯，视频信号首先进入BF561处理器，采集编码后的码流发送到BF536处理器，然后通过网络发送到客户端进行解码显示。 图3：采用Blackfin BF536和BF561的解决方案硬件结构图。 该方案采用了先进的背景建模方法，能有效地克服光线变化、树叶摆动以及水面波纹等背景对前景目标分析产生的干扰，实现准确的前景检测，同时在目标跟踪上采用了独特的优化算放，实现了在入侵检测（包括区域警戒、绊线检测）的应用上超过90%的准确率。而所有这些都是基于BF536＋BF561双处理器的硬件架构所具有的强大处理能力来实现的。 该方案的智能视频分析功能由亿维东方公司自主开发，独特的算法和丰富的智能视频分析技术开发经验确保实现客户的智能识别应用需求，并为客户提供包括软件升级在内的完善服务。由于智能视频识别应用目前并没有任何可循的需求标准和测试标准，因此视频分析方案通常需要针对客户的应用特点和需求进行方案优化。例如有些用户是地铁系统的，他们需要的功能是检测是否跨越候车的黄线、人群密度是否过大、是否有可疑的遗留物体等；有些用户是银行系统的，他们所需要的是ATM机的智能监控如分析是否有安装假键盘、安装吞卡器，在ATM机是否有暴力行为，是否出现犯罪分子的人脸等。利用该方案，客户可以根据用户的需求方便地进行调整算法。智能视频处理要求芯片具有强大的处理能力，有许多算法实现时得采用并行处理，Blackfin DSP在算法并行处理上具有独特的优势，特别是ADSP-BF561的双DSP核能够实现很复杂的智能视频处理算法。这是传统的MCU+ASIC或采用一般DSP方案所难以实现的。 该方案的软硬件都经过了应用验证，目前已经由多家客户进行生产，目标应用将主要是政府行政效能监测、教育系统等行业用户。

数字化硬盘录像机（DVR）在国内的应用才短短的几年时间，但是由于其数字化的优势，特别在银行系统的应用，在国内监控行业形成了新的热潮。它给CCTV监控系统带来了数字化应用的革命。

硬盘录像机从其功能来看具有视频切换、图像任意分割和组合显示、图像录像、云台镜头控制、报警联动控制和远程网络传输控制功能，从某种意义上讲，一台高性能的硬盘录像机可以替代传统上的CCTV系统的矩阵切换器、图像分割器、磁带录像机、控制键盘和报警主机，实现高度集成化的数字化CCTV和报警监控系统。

DVR目前采用有纯硬件解压缩、软件解压缩和硬件软件相结合解压缩三种技术，采用后两种技术的硬盘录像机因为软件解压缩比较占用计算机的CPU和内存资源，因而能够处理和录制图像的能力有限，主要是每秒处理图像的帧数。例如纯软件解压缩的硬盘录像机处理图像帧数不能超过200帧/秒，在有些要求图像质量高，压缩比高的压缩算法下，例如MPEG4格式时，能够处理的图像帧数更少，为100帧/秒。因而硬盘录像机必须是采用纯硬件解压缩方式进行，并且尽可能的节省占用计算机CPU和内存资源，同样减少了软件运行的不确定因素，这样系统的稳定性和可靠性也大大的加强了。所以目前在DVR市场中占主导地位的是MPEG4硬压缩方式的。

所谓的MPEG4硬压缩格式的硬盘录像机采用纯硬件解压缩音视频卡，将音视频采集，编码压缩，解码显示采用一片集成芯片进行，利用计算机PCI总线结构，将多路音视频流直接分配传输到计算机显卡，IDE总线进行图像显示和存储，系统CPU只起到控制和分配作用，因而处理音视频流占用计算机系统的资源与处理音视频路数无关，其实通俗的讲DVR就是一台配置较好的PC机加多片音视频压缩卡与软件捆绑所构成。

DVR的优点是价格低廉成本不高，应用领域较广，对本地监控有一定优势；缺点由于是PC插卡式，它会直接受到PC机质量的影响，发热量的影响，对PC的配置要求很高，维护起来不方便，由于大部分应用都是24小时循环录像，所以相对应的硬盘寿命很短。它在网络远程监控方面相比较没有任何优势，需要给它提供一条专用的网络接入点，还受到广域网访问局域网的制约，传送图像质量不好，所以上述缺点要想实现真正意义上的远程监控，DVR还很难作到。

网络视频服务器是监控领域中新兴的产物。由于国内网络提供商提供了更高的网络带宽更实惠的价格，所以互联网在几年内迅速的普及，逐渐渗透到个行个业中去。它同时也给监控领域带来了一次新的革命，所以人们已经无法在满足固化的本地监控的需求，对远程监控的需求越来越多的同时，网络视频服务器就成为了监控方面新的生力军。

视频服务器的关键核心技术之一数字视频压缩技术，目前在视频服务器中实用的是M—JPEG和MPEG—2两种。M-JPEG技术即运动静止图像（或逐帧）压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像处理，把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整弰压缩每一帧，在编辑过程中可随机存储每一帧，可进行精确到帧的编辑，此外M-JPEG的压缩和解压缩是对称的，可由相同的硬件和软件实现。但M-JPEG只对帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩，故压缩效率不高。采用M-JPEG数字压缩格式，当压缩比7:1时，可提供相当于Betecam SP质量图像的节目。

视频服务器有下几大特点：

1)功能全面

基于网络视频服务器的监控方案，无需各种视频切换矩阵卡、处理卡等，只需网络视频服务器加监视系统、摄像机，就可完成视频监控，视频资源的录像、存储、检索、回放等功能，并且完成云台控制、联动报警、画面分割等功能。

2)开放标准

网络视频服务器支持IP、TCP、和HTTP等各种标准网络协议，可以与各种不同类型的网络设备无缝连接。

网络视频服务器支持NTSC和PAL等标准制式的视频输入；支持通用云台控制协议，可以方便地远程控制云台。

3)可靠性高

网络视频服务器采用嵌入式架构和工业标准设计、生产，在系统性能上优于基于工控机的监控设备，系统采用M-JPEG实时压缩，稳定可靠、效率高。

4)安装简单

网络视频服务器的安装过程快速简单，通过BNC接口连接1~4个视频源，通过RJ45接口接入以太网（用户只需设置一个IP地址后即可使用），或内置DDNS可直接在广域网中访问。

5)操作容易

监控可直接采用IE浏览器界面；也可以使用与网络视频服务器配合使用的监控软件，如优网通软件，其界面友好，在不经培训的情况下，也能掌握基本功能。

6)维护方便

现场设备可以通过网络远程管理和设置（包括软件升级），在现场无须人工维护和操作，大大方便了系统运营的维护。

7)性价比高

网络视频服务器构建的监控系统，可利用用户现有的网络，不必另铺线缆；省去视频矩阵，同轴电缆等昂贵器材；性能可靠使得设备的维护费用降低。

8)可扩展性好

未来系统的扩容也不需要增加监控中心的设备,只需要用户在新增监控点增加另一台网络视频服务器即可。

9)分布式架构

采用了分布式处理架构的设计思想，很大程度上消除了工控机模式下的集中式处理的限制，扩大了视频监控系统的容量。

10)应用广泛

网络视频服务器可广泛应用于诸如对远程会议、远程教学、远程医疗、电力无人驻守变电站、电信机房、道路交通、连锁营业场所铁路、广电、交通、金融、高校、石化、煤炭、军队、厂矿、海关、港口、水利、林业等企事业单位的远程视频监控以及本地局域网络下的监控。网络视频服务器的优点是在远程监控方面的技术优势从而扩大了图像监控的应用范围，强化了视频图像在远程管理、视频资料共享等方面的重要性。缺点是网络视频服务器是新兴的产业与DVR相比成本较高，与DVR竞争本地监控领域，优势不是很明显。

DVR 视频输出

支持多种显示设备，既有多画面输出，又有单画面输出，并且可以与其他子系统（如报警）进行联动

监视画面效果

本地观看实时显示，高品质的数字画面，如远程观看对PC机要求性能高， 视 频压缩传输后画质下降，支持少数人同时观看。

集中监控

由于布线成本限制，只能本地监控，监控点由视频采集卡决定。

稳定性

稳定性视PC机性能而定，散热、意外操作等会导致系统崩溃。

网络视频服务器 视频输出

不需客户端软件可直接通过PC机的IE浏览器进行监控，针对PIXORD开发的专业软件除具有DVR的所有功能外还有更多的管理功能

监视画面效果

正常网络状态下实时显示，普通品质画面，对PC机要求不高，支持30个用户同时在线访问，网络状况差时略有呆滞、丢帧现象。

集中监控

利用现有网络可对远程任何多点控制、远程录像管理，需专用软件

稳定性

嵌入式系统，具有硬件狗，可自动重启，在线升级系统，稳定性高。

---