华南理工大学学报(自然科学版)

作者：刘微容, 张志强, 张宁, 等

单位：兰州理工大学 电气工程与信息工程学院，甘肃 兰州 730050

关键词：卷积神经网络,网络压缩,张量分解,贝叶斯优化,约束型压缩

基金：国家自然科学基金资助项目(62261032);甘肃省自然科学基金资助项目(22JR5RA272);甘肃省重点人才项目

张量训练（TT）分解和Tucker分解是两种有效的卷积神经网络压缩方法。然而，TT和Tucker分解分别面临空间结构信息丢失与计算复杂度高等问题。为解决上述问题，文中考虑了网络结构的信息保留率和资源占用情况，采用学习-压缩（LC）算法的约束型压缩框架，提出了一种基于TT-Tucker分解的无预训练LC卷积神经网络压缩方法（TT-LC）。TT-LC方法包括学习步骤和压缩步骤两个部分。学习步骤不需要预训练过程，采用了指数循环学习率方法以提高训练准确率。而在压缩步骤，文中根据TT和Tucker分解的优点以及贝叶斯规则选取全局最优秩的特性，运用经验变分贝叶斯矩阵分解（EVBMF）和贝叶斯优化（BayesOpt）选出合理的秩以指导张量分解，采用TT-LC方法压缩训练后的模型。TT-LC方法既降低了空间结构信息丢失率和计算复杂度，又解决了张量的秩选取不合理导致模型准确率显著下降的问题，可实现模型的双重贝叶斯选秩和双重压缩，获得最优的压缩模型。最后，采用ResNets和VGG网络在CIFAR10与CIFAR100数据集上进行实验。结果表明：对于ResNet32网络，相比于基准方法，文中方法在准确率为92.22%的情况下，获得了69.6%的参数量压缩率和66.7%的浮点计算量压缩率。

来源：2024年第7期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2024年第7期