华南理工大学学报(自然科学版)

作者：李家春, 李博文, 林伟伟

单位：华南理工大学 计算机科学与工程学院，广东 广州 510006

关键词：深度学习,深度伪造检测,多尺度时序特征,注意力机制,自适应网络

基金：广东省重点领域研发计划项目(2021B0101420002);教育部产学合作协同育人项目(201902186007);广州市重点领域研发计划项目(202007040002);广州市开发区国际合作项目(2020GH10)

视频篡改造成的危害一直在危及人们的生活，这使深度伪造检测技术逐渐得到广泛关注和发展。然而，目前的检测方法由于使用了不灵活的约束条件，无法有效捕获噪声残差；此外，也忽略了纹理和语义特征之间的关联，以及时序特征对检测性能提升的影响。为了解决上述问题，文中提出了一种用于深度伪造检测的、具有多样化特征的自适应网络（AdfNet），它通过提取语义特征、纹理特征和时序特征帮助分类器判断真伪；探索了自适应纹理噪声提取机制（ATNEM），通过未池化的特征映射与基于频域的通道注意力机制，灵活捕获非固定频段的噪声残差；设计了深层语义分析指导策略（DSAGS），通过空间注意力机制突出篡改痕迹，并引导特征提取器关注焦点区域的深层特征；研究了多尺度时序特征处理方法（MTFPM），利用时序注意力机制给不同视频帧分配权重，捕获被篡改视频中时间序列的差异。实验结果表明，所提出的网络在FaceForensics++（FF++）数据集HQ模式中的ACC值为97.41%，相比当前主流网络有较为明显的性能提升；并且在FF++数据集上保持AUC值为99.80%的同时，在Celeb-DF上AUC值可达到76.41%，具有较强的泛化性。

来源：2023年第9期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2023年第9期