一、Momentum：(动量，冲量)：结合当前梯度与上一次更新信息，用于当前更新；

二、Momentum的作用？

主要是在训练网络时，最开始会对网络进行权值初始化，但是这个初始化不可能是最合适的；因此可能就会出现损失函数在训练的过程中出现局部最小值的情况，而没有达到全局最优的状态。

momentum的出现可以在一定程度上解决这个问题。动量来源于物理学，当momentum越大时，转换为势能的能量就越大，就越有可能摆脱局部凹区域，从而进入全局凹区域。momentum主要是用于权值优化。

没引入momentum之前的权重更新：

上面的权重更新可以通过下图进行理解！