华南理工大学学报(自然科学版)

作者：沃焱, 梁籍云, 韩国强

单位：华南理工大学 计算机科学与工程学院，广东 广州 510006

关键词：度量学习,跨模态检索,注意力机制,深度学习

基金：广东省自然科学基金资助项目 (2021A1515012020); 广州市科技计划项目 (202002030298)

度量学习是一种减少模态差异的重要技术，已有的基于度量学习的跨模态检索方法用于跨模态人脸检索任务时缺乏对视角差异和域差异的关注，并且在度量学习的过程中存在两个问题：缺乏对全局信息的学习和存在大量冗余三元组。文中提出了一种基于度量学习的跨模态共同表达生成算法，采用偏航角等变模块补偿偏航角差异获取具有鲁棒性的图像特征，使用多层注意力机制获取具有可分性的视频特征；结合全局三元组和局部三元组共同训练跨模态共同表达生成网络提升度量学习的一致性和准确性，同时通过半困难三元组筛选加速了损失函数的收敛；提出结合域校准和迁移学习作为域适应方法提升共同表达的泛化性。最终，在PB、YTC和UMD Faces三个人脸视频数据集中的实验结果证明了本文算法有效提升了跨模态人脸检索的准确性，通过少数样本微调跨模态共同表达生成网络有效提升了目标域图像跨模态检索的准确性。

来源：2022年第6期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2022年第6期