文件列表:
Joint A-SNN: 通过自蒸馏和权重分解联合训练人工神经网络和脉冲神经网络【英文版】.pdf |
下载文档 |
资源简介
>
英文标题:Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization中文摘要:本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架,其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中,并限制了两者的参数,分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中,我们的方法始终表现出色,超越了许多其他最先进的训练方法。例如,在 CIFAR100 分类任务中,我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步,就可以达到 77.39%的 top-1 准确率。英文摘要:Emerged as a biology-inspired method, Spiking Neural Networks (SNNs) mimicthe spiking nature of brain neurons and have received lots of r
加载中...
已阅读到文档的结尾了