华南理工大学学报(自然科学版)

作者：莫建文, 朱彦桥, 袁华, 等

单位：桂林电子科技大学 信息与通信学院，广西 桂林 541004

关键词：深度学习,灾难性遗忘,增量学习,神经元正则,资源释放机制,容量有限环境

基金：国家自然科学基金;广西自然科学基金；广西无线宽带通信与信号处理重点实验室基金

针对深度学习系统在增量式场景下进行图像分类时产生的灾难性遗忘问题，提出了一种基于神经元正则和资源释放的增量学习方法.该方法以贝叶斯神经网络为基础框架，首先以神经元为单位对输入权值进行分组并按组将权值的标准差限制为相同的值，然后在训练过程中根据统一后的标准差对每组权值的调整执行相应强度的正则.最后，为了提高模型的持续学习能力，提出一个资源释放机制.该机制通过引导模型选择性稀释部分权值的正则强度来保持模型的学习能力.在几个公开数据集上的实验结果表明，本研究提出的方法可以更有效地发掘模型的持续学习能力，即使在容量有限的环境下，也能学习到一个性能更好的模型.

来源：2022年第6期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2022年第6期