文件列表:
Failures of Gradient-Based Deep Learning |
下载文档 |
资源简介
>
Shai Shalev-Shwartz 教授讲解“基于梯度的深度学习的局限”(Failures of Gradient-Based Deep Learning)的ppt。有一些简单的问题,但深度学习的标准算法不能很好地工作,甚至根本不工作。至少目前我们可能需要重新思考对算法的监督。深度学习算法并不能解决所有问题。这个 talk 尝试解释什么时候,以及为什么深度学习算法不工作。不能很好地工作的情况:
需要对更好的结构/算法选择有先验知识
需要梯度更新规则之外的规则
需要分解问题,增加监督
完全不工作的情况:
没有“本地搜索”(local-search)算法可以工作
即使是“漂亮”的分布和指定好的模型也会不工作
过度参数化(也就是不正确的学习)
Shai Shalev-Shwartz, Shaked Shammah, Ohad ShamirThe Hebrew University and MobileyeRepresentation Learning WorkshopSimons Institute, Berkeley, 2017
加载中...
本文档仅能预览20页