华南理工大学学报(自然科学版)

作者：付鹏斌, 徐宇, 杨惠荣

单位：北京工业大学 信息学部，北京 100124

关键词：手写数学公式识别,脱机模式,手写体,打印体,语义不变性

基金：国家自然科学基金资助项目(61772048);北京市自然科学基金资助项目(4153058);北京市教委优质本科教材课件建设项目(040000514122506)

脱机手写数学公式二维结构复杂，其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先，在编码阶段引入了多尺度特征融合的方式改进模型，以提升模型对公式中细粒度信息的提取能力以及加强对全局二维结构的语义信息理解；其次，引入了成对的手写体、打印体数据来进行互学习模型的训练，该模型包括解码器损失和上下文匹配损失，分别学习LaTeX语法以及手写体、打印体之间的语义不变性，提高模型对不同书写风格的鲁棒性，提升对公式整体信息的理解能力。在CROHME 2014/2016/2019数据集上进行实验验证，结果发现：引入多尺度特征融合机制后，表达式正确率分别达到55.25%、52.31%、53.72%；引入互学习机制后，表达式正确率分别达到55.43%、53.53%、53.79%；同时引入两种机制后，表达式正确率分别达到58.88%、55.10%、57.05%。经实验证明，文中提出的方法能够有效提取公式中不同尺度下的特征，并通过互学习机制克服手写风格不一、数据量少等问题。此外，在HME100K数据集上的实验结果也验证了文中提出模型的有效性。

来源：2024年第2期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2024年第2期