华南理工大学学报(自然科学版)

作者：朱铮宇, 罗超, 贺前华, 等

单位：1.华南理工大学 音频、语音与视觉处理实验室，广东 广州 510640；2.广东技术师范大学 网络空间安全学院，广东 广州 510665；3.广州趣丸网络科技有限公司，广东 广州 510665

关键词：一致性判别,生成对抗网络,卷积神经网络,正面重构,多模态

基金：国家自然科学基金资助项目(61672173);国家重点研发计划项目(2018YFB1802200)

针对传统音唇一致性判别方法主要对正面唇动视频进行处理，未考虑视频采集角度变化对结果的影响，且容易忽略唇动过程中的时空特性等不足，文中以唇部角度变化对一致性判别的影响为研究重心，结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势，提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果，并采用基于自映射监督循环一致性生成对抗网络（SMS-CycleGAN）的唇重构方法对多视角唇图进行角度分类及正面重构；然后设计两个异构三维卷积神经网络，分别用来描述音频和视频信号，并提取包含长时时空关联信息的三维卷积特征；最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量，将音视频网络输出耦合到同一表示空间，并进行一致性判别。实验结果表明，文中方法能重建出更高质量的正面唇图，一致性判别性能优于多种不同类型的比较方法。

来源：2023年第5期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2023年第5期