文件列表:
AUTOSPARSE: 深度神经网络稀疏训练自动化【英文版】.pdf |
下载文档 |
资源简介
>
英文标题:AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks中文摘要:本文提出通过渐进式变化策略的梯度退火(gradient annealing,GA)以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse,在 ImageNet-1K 数据集上表现优异,80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏(sparse-to-sparse)方法 MEST 的表现相似,但使用的训练和推理 FLOPS 分别多 12%和 50%不到。英文摘要:Sparse training is emerging as a promising avenue for reducing thecomputational cost of training neural networks. Several recent studies haveproposed pruning methods using learnable thresholds to e
加载中...
已阅读到文档的结尾了