简介

深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程

SGD

参考文献

深度学习中的各种优化算法

深度学习优化器-优化Tricks

神经网络调参细节