面向公共安全的视频特定行为检测提取及程序设计开题报告

1. 系统功能结构

系统总体功能结构如图1所示

图1面向公共安全的视频特定行为检测提取系统

获取视频：从政府布置的公共区域监控和私人布置的公共区域的摄像头获取视频。RTSP(Real Time Streaming Protocol)，是一种语法和操作类似 HTTP 协议，专门用于音频和视频的应用层协议。 和 HTTP 类似，RTSP 也使用 URL 地址。同时我们也要了解到摄像机传输数据用的是码流，高清网络摄像机产品编码器都会产生两个编码格式，称为主码流和子码流。这就叫双码流技术。目的是用于解决监控录像的本地存储和网络传输的图像的质量问题。双码流能实现本地和远程传输的两种不同的带宽码流需求，本地传输可以用主码流，能获得更清晰的存储录像，远程传输就因为带宽限制的原因，而使用子码流来获得流畅的图像和录像。通过RTSP协议传输不同的码流，但是各大摄像头厂家的RTSP协议地址不大一样。通常只要知道摄像头IP地址，用户名密码就行了。此外用两个不同的线程单独去处理接收每一帧的图像，然后另一个线程处理这每一帧的图像。思路如下：使用队列，基于pthread类采取先入先出策略，在一个线程中开始接收数据，在另一个线程中处理逐帧数据。这样就可以实时获得网络摄像头数据。

视频预处理：视频预处理的第一个作用是提高编码视频的质量，视频预处理的第二个作用是提高编码效率和有利于码率控制。采用基本的图像滤波、图像去噪和多种图像增强处理。

限带滤波和降采样：根据奈奎斯特定理，只有对图像进行高于两倍信号最高频率的采样才能保证从采样值完全恢复原图像。但是如果该条件不满足，即欠采样时，高次谐波的频谱就会叠加到基波，出现频谱混叠效应。随着图像高清晰度的增加，由于采样率的限制，绝大多数成像系统都存在不同的混叠现象。抑制或消除混叠效应常采用两项措施，一是限带滤波，二是下采样。限带滤波就是对高速采样的数字视频进行一次低通滤波，抑制奈奎斯特定理定义的通带以外的高频分量。因为这些带外分量在后续的处理中会引起混叠效应，产生无意义的高频分量，而编码器还得对它们进行编码，浪费不少宝贵的编码比特。仅采用限带滤波只能滤除信号中少量的高频分量，如果信号带宽远高于奈奎斯特带宽，那么在限带滤波后还需进行一次下采样，进一步减少码字。

噪声去除：噪声对于任何实际的视频采集来说均是不可避免的，如果在编码前未将不必要的噪声去除，不仅会影响解码视频质量，而且后面的编码部分还将为噪声编码，降低了效率。视频中常见的噪声主要有加性噪声、乘性噪声和量化噪声等。图像中的噪声往往和信号交织在一起，尤其是乘性噪声，如果滤波不当，就会使图像本身的细节，如边界轮廓、线条等，变得模糊不清。图像去噪方法很多，它们大体上可以分为两类：空间域的去噪方法和变换域的去噪方法。这两类方法的最主要区别是前者直接对观察图像数据进行处理，而后者则是先对图像进行某种变换，然后再对变换后的系数进行处理。变换域的去噪方法认为，在变换域图像往往是稀疏表示的，即高频分量很少，大部份噪声处于高频部分，通过在变换域设置阈值或者截断高端频谱来去除噪声。这类方法的优点是在变换域进行处理比较简单。它的不足之处在于对阈值的设置比较困难;在去除噪声的同时不可避免地会平滑图像本身的纹理细节;图像在变换域丢失了部分结构特征，特别是边界信息等。这些都会影响去噪图像的质量。　　空间域的去噪方法关注图像数据本身，如近年来流行的基于块的去噪方式，其基本思想是为去噪图像的每一个块寻找与它相似的块，相似块可以在同一帧内部寻找，或者其它帧中寻找，还可在其它图像中寻找，最后通过加权平均等操作恢复图像块。空间域的方法利用了更多的图像数据信息，保留图像的结构，有利于保持图像细节，但也容易出现过平滑现象。近年来针对图像的混合高斯噪声，出现了一种将变换域和空间域方法相结合的自适应噪声去除方法。这种方法首先采用基于块和滤波的噪声参数估计，自适应的估计混合高斯噪声参数，然后利用估计得到的噪声参数进行图像去噪，将多幅去噪图像进行简单的数据融合，最终获得性能良好的去噪图像。

图像增强：在图像处理中，图像直方图表示了图像中像素灰度值的分布情况。为使图像变得清晰，增大反差，凸显图像细节，通常希望图像灰度的分布从暗到亮大致均匀。直方图均衡就是把那些直方图分布不均匀的图像(如大部分像素灰度集中分布在某一段)经过一种函数变换，使之成一幅具有均匀灰度分布的新图像，其灰度直方图的动态范围扩大。用于直方均衡化的变换函数不是统一的，它是输入图像直方图的积分，即累积分布函数。灰度变换可使图像动态范围增大，对比度得到扩展，使图像清晰、特征明显，是图像增强的重要手段之一。它主要利用图像的点运算来修正像素灰度，由输入像素点的灰度值确定相应输出像素点的灰度值，可以看作是“从像素到像素”的变换操作，不改变图像内的空间关系。像素灰度级的改变是根据输入图像f(x, y)灰度值和输出图像g(x, y)灰度值之间的转换函数g(x，y)=T[f(x，y)]进行的。白色是人眼对比例相同且具有一定亮度的蓝、绿、红三种色光所形成的视觉反应。在正常的情况下，视频采集系统对白光的输出为白色，简单地说这个系统处于白平衡状态。如果系统对白光不能够保持白色输出，出现偏色，如发红或发蓝等，就说明采集系统对现场彩色的处理出现了偏差，即未达到白平衡。由于场景的彩色情况非常复杂，难以断定白平衡情况，所以在实际应用中，常常用白光来判定系统的白平衡状况。这是一种衡量系统的色彩比例是否恰当的一种方便、直观的方法。如果达到了白平衡，那么输出的色彩也是白色，没有其它的偏色;如果有偏色，说明没有达到白平衡，需要在预处理时加以调整，使之成像后仍然为白色。

提取特定行为人脸检测区域：直方图法分割目标物体。当物体出现遮挡时，就要想办法将互相遮挡的物体分割开来以形成独立的个体，这样就 会更方便后续的处理。怎样才能实现有效的分割，这是一个值得深入挖掘的问题。下面介绍一种直方图的方法来对遮挡的目标进行有效的分割。直方图法的基本思想是：先将目标物体 进行二值化处理，然后将重叠的目标物体投影到坐标轴上，具体是进行垂直投影（投影到横 轴上）还是进行水平投影（投影到纵轴上）要视情况而定（当目标物体进行水平投影较容易找到分割点时，就选择水平投影，当目标物体进行垂直投影较容易找到分割点时，就选择垂 直投影），投影之后，要对直方图做傅里叶变化和逆变换，以使投影直方图更加的平滑，这些 完成之后就要寻找投影直方图中的切割点，即两个凸点之间的凹点，在凹点处进行分割，分割后即可得到独立的目标对象。

人脸识别：人脸识别技术是基于人的脸部特征，对输入的视频流，首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。

输出人脸相关信息：将识别出来的人脸与数据库中的人脸进行匹配，如果库中存在与待测人脸相同特征的人脸图片则在相应区域显示出人脸库中的样本人脸图片，否则只显示识别出来的人脸。

2.核心功能流程图

图2人脸检测系统流程图

图3 特定行为检测流程图

图4人脸识别流程图

3.研究方案

面向公共安全的视频特定行为检测提取及程序设计主要分为四个部分

获取视频：

通过RTSP协议传输不同的码流，但是各大摄像头厂家的RTSP协议地址不大一样。通常只要知道摄像头IP地址，用户名密码就行了。此外用两个不同的线程单独去处理接收每一帧的图像，然后另一个线程处理这每一帧的图像。

特定行为检测：

特定行为进行检测，即对奔跑或斗殴或跌倒的行为者检测。

人脸检测：

(1)基于知识的方法：这是针对大众人脸检测的方法。通常选取人脸中的眼睛、 嘴、鼻子作为特征形成规则后，再以此作为依据去检测图片中是否存在人脸。此方法 的规则较为死板，错误率较高，不能适应在不同环境的人脸变化。

(2)基于特征不变性的方法：是建立在事先比较出大量人脸中固定不变的特点作为集合的基础上，然后根据此集合去检测是否存在人脸。通常使用边缘检测器来提取 人脸特征。此法易受外界条件的干扰，出现错误检测。

(3)基于模版匹配的方法：即人为的设置标准模板，然后将待检测图片与其进行 对比。该方法在检测过程中直观、易辨，但是对于公共区域来说寻找一个符合大众特征的标准模板是相当困难的。虽然在研究过程中，有人提出了可变形模板、多比例模板等方法，但其准确性仍待提高。特别是当过马路，游行，集会时出现人群较多，人群相互遮挡的情况时，其局限性尤为突出。

(4)基于外观的方法：通过特征人脸模型，将人脸与非人脸进行区分。主要有特征脸(Eigenfaces)方法(KL变换)和神经网络方法。但是建立一个精准的人脸模型是非常困难的，我们需要提供大量且多样的人脸样本供其分析学习，同时也需要提供同样庞大数量的反例，即非人脸样本，这是非常耗时耗力的一项任务。