×
img

无惧选择:几乎所有的小批量调度都可以最优泛化(英文版)

发布者:wx****84
2023-05-06
392 KB 31 页
人工智能(AI)
文件列表:
无惧选择:几乎所有的小批量调度都可以最优泛化【英文版】.pdf
下载文档
英文标题:Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally中文摘要:本研究建立了优化算法,分析了批处理的优点,证明了基于批处理训练的渐进误差上下界。英文摘要:We establish matching upper and lower generalization error bounds formini-batch Gradient Descent (GD) training with either deterministic orstochastic, data-independent, but otherwise arbitrary batch selection rules. Weconsider smooth Lipschitz-convex/nonconvex/strongly-convex loss functions, andshow that classical upper bounds for Stochastic GD (SGD) also hold verbatim

加载中...

本文档仅能预览20页

继续阅读请下载文档

网友评论>