基于运动补偿估计的视频压缩感知编码与重构

叶志霞 杨德强 云利军 云南师范大学信息学院 云南昆明 650500

【基金项目】云南省教育厅科学研究基金，基于运动补偿估计的红外视频压缩传感模型研究2011Y304。

【文章摘要】

针对传统视频编解码过程中计算量大，数据冗余的问题，利用新的压缩感知理论和运动补偿估计技术，提出了新的视频压缩处理过程。将视频帧分组，对关键帧采用压缩感知，对非关键帧利用运动补偿估计技术求残差，并对残差进行压缩感知，利用GPSR 算法重构原始数据。实验仿真结果表明提出的模型能够利用较少的随机采样数据重构原始信息，达到较高的平均信噪比。

【关键词】

运动补偿；运动估计；压缩感知；视频

0 引言　

传统的视频采集系统由于受到奈奎斯特(Nyquist) 采样定理的限制，信号的采样率必须大于信号带宽的2 倍，才能实现信号的准确重构。采集端首先要通过传感器阵列采样大量的原始视频数据，然后对数据进行稀疏变换，对变换后的前K 个较大系数进行存储和传输。这种方式采样和压缩数据分开处理，采集到的数据量大， 给数据的存储和传输带来较大负担，编码过程中计算量大，变换后的大部分系数被丢失，造成大量数据浪费。

近年来出现的信号采样新理论—— 压缩感知( compressive sensing, CS) 利用信号的稀疏性，可以在远小于Nyquist 采样率的条件下, 对信号进行随机采样，然后通过非线性算法重构信号，实现了采样与压缩的结合，因而极大地缓解了采集端的压力。由于视频图像通常在某些变换域上具有可压缩性，而且视频残差图像具有较强的稀疏性，所以CS 理论在视频编码中有着良好的应用。

1 压缩感知理论

设x 为长度为N 的一维信号x[n]， n=1，2，…，N，x 在变换域Ψ 上可表示为x=Ψs= （1），式中Ψ=[Ψ1|Ψ2|… |ΨN] 是N×N 的变换矩阵，s=[s1,s2,…sN] 是N 个权值系数。若向量x 在变换域Ψ 上K 阶稀疏，即s 的N 个系数中有K 个非零项，且K<<N, 在这种稀疏条件下，可对x 随机采样M(K<M<<N) 个值，得到长度为M 的观测向量y，y 表示为y=Φx (2)，其中Φ 代表M×N 的观测矩阵。

由（1）（2）式得到y=ΦΨs （3）。文献[2] 中证明了在矩阵Φ 与Ψ 满足不相关的情况下，能通过M 个观测值无损地重构出原始信号。重构原始信号的问题演变成求解以下最优化问题：（ 4）。常见的求解算法有OMP, GPSR 算法等。

2 传统视频压缩技术

视频是一系列静止图像的集合，每帧图像内相邻像素之间具有相关性，帧与帧

图2.3 规约服务集群部署图032

实验研究

Experimental Research

电子制作

图像之间也具有较强的相关性。传统的视频采样处理过程如图1 所示。采样与压缩分离，首先需要采样大量数据，然后进行压缩，传统的视频压缩主要包含对帧内图像数据压缩和帧间图像数据的压缩，其对于帧间压缩目前最普遍的方法就是运动估计与运动补偿技术，基于参考帧进行运动估计和补偿得到当前帧的预测值，将当前帧减去预测帧得到残差，再对残差进行量化、编码，然后存储和传输。

3 基于压缩感知的视频处理模型

把CS 技术应用到视频处理中，能够以少量的观测值重构原始视频信息。CS 将信号的采样与压缩编码合二为一，视频的编码过程转化为对信号的压缩感知，而对视频的解码过程转化为对信号的重构。在编码端，将视频系列分组，每一组包含一帧关键帧(I 帧) 和多帧参考帧(P 帧)。为简化操作，选取每组的第一帧作为关键帧，对关键帧采用帧内编码，通过结构化随机投影SRM 方法直接进行整体测量， 获得相应的观测值；对参考帧采用帧间编码，为了降低冗余度，先用前面解码重构出来的帧作为参考帧，并与当前帧求残差，由于残差的稀疏性更强，再对残差进行CS 采样量化，这样只需要很少的测量观测值；然后对观测到的数据进行量化编码。解码过程是一个求解欠定线性方程组解的过程，也就是视频图像的重构算法的设计。在解码端对接收到的正确的编码进行反量化，然后利用GPSR 算法进行反复迭代运算，对于I 帧，得到相应的原始图像，送存储器进行存储，而对于P 帧，得到的仅仅是残差，将前面重构出的帧和残差相加得到原始图像，再送存储器存储。基于压缩感知的视频压缩和重构模型如图2 所示：

4 实验仿真结果及分析

实验选取了标准的Akiyo、Hall、Foreman 和Football 视频序列，采取结构随机矩阵作为测量矩阵、采用小波基对其进行稀疏化处理、利用GPSR 算法对视频进行优化重构。首先考虑在关键帧和非关键帧采样率一致的情况下，不同视频系列的恢复重构情况，图4 给出了几组视频获得的平均信噪比情况：

由图3 可以看出，本文所提出的系统模型能以较低采样率就能很好重构视频图像，达到较高的平均信噪比。在保持同一采样率的情况下，相比较变化较大的视频系列，变化不大的视频能够获得相对高的信噪比。

实验采用Foreman 视频帧系列，依次选取8 帧作为一组，其中第一帧为关键帧， 其余帧为参考帧，分别测试I 帧采样数量Ni 和P 帧采样数量Np 对平均信噪比的影响，结果如图4 所示。由图4 可以看出， 采样率越高，视频重构恢复的效果越好， 关键帧的采样率比参考帧的采样率对视频质量的影响要明显。

5 总结

将压缩感知理论应用到视频的编解码过程中，能够以较少的样本值重构原始图像，极大地缓解了视频存储和传输过程中数据量巨大的问题。本系统中视频的分组和关键帧的选取是固定的，只是采用了对后续视频帧的运动估计和补偿，如果考虑分组的合理性，如果能够根据视频特征自动确定分组大小和关键帧的选取，分别利用前一组的关键帧对后续帧进行运动估计和补偿，同时利用下一组的关键帧对向前对前面的帧进行运动估计和补偿，将能进一步改善视频重构效果。

【参考文献】

[1]E.J.Candes and M. B.Wakin,“An introduction to compressive sampling,” IEEE Signal Processing Magazine, vol. 25,no.2,pp.21–30,March 2008.

[2]Candes E,Romberg J.“Sparsity and incoherence in compressive sampling,” Inverse Problems,2007,23(3): 969– 985.

[3]Tropp J.A.and Gilbert A.C.,“Signal recovery from random measurements via orthogonal matching pursuit,” IEEE Transactions on Information Theory, 2007, 53(12):4655–4666.

[ 4 ] M . F i g u e i r e d o , R . N o w a k a n d S . Wright,“Gradient projection for sparse reconstruction:Application to compressed sensing and other inverse problems,” IEEE Journal of selected topics in signal processing, 2007,1(4):586-597.

[5]B.Pesquet-Popescu and V.Bottreau, “Three-dimensional lifting schemes for motion compensated video compression,” in IEEE International Conference on Acoustics,Speech, and Signal Processing, Salt Lake City,UT,May 2001,pp. 1793- 1796.

【作者简介】

叶志霞，女，汉族，中共党员，云南宜良人，1978 年8 月，讲师，云南师范大学信息学院教师，研究方向为图形图像处理、嵌入式系统。

图1 传统视频采样处理过程

图2 基于压缩感知的视频压缩和重构模型033