华南理工大学学报(自然科学版)

作者：杨春玲, 陈文俊, 刘嘉惠

单位：华南理工大学 电子与信息学院，广东 广州 510640

关键词：视频压缩感知,特征域优化,卷积神经网络,注意力机制,运动估计与补偿

基金：广东省自然科学基金资助项目(2019A1515011949)

现有视频压缩感知重建网络通常利用光流网络实现像素域运动估计与运动补偿。然而在重建过程中，光流网络的输入为质量较差的初始估计帧，导致获得的光流不准确，基于光流的像素域对齐与融合操作会造成噪声的累积，导致视频重建帧存在明显的人工效应，影响重建质量。基于特征域多通道信息对干扰噪声具有较强的鲁棒性，文中将特征域优化思想应用于视频压缩感知重构神经网络的设计中，提出了特征域优化启发及光流引导的多假设交叉注意力重构神经网络（FOFMCNet）。为避免光流中的噪声在图像变形时破坏图像结构的问题，文中在特征域设计了光流指导的多假设运动估计模块与基于交叉注意力的运动补偿模块，以实现特征域的帧间运动估计与运动补偿，从而更为充分地利用帧间相关性辅助非关键帧重构。为了在特征优化过程中加强有效信息的复用，提升网络学习能力并缓解梯度爆炸问题，文中设计了特征域优化启发U型网络（FOUNet），并作为FOFMCNet的子网络，通过多个FOUNet的级联，FOFMCNet在特征域实现非关键帧的优化与重建。实验结果表明，文中所提算法在经典低分辨率数据集（UCF-101和QCIF）和新的高分辨率数据集（REDS4）上的重构结果均优于现有的视频压缩感知算法。

来源：2024年第10期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2024年第10期