SCIR Reading Group Share ICLR 2018 "FIXING WEIGHT DECAY REGULARIZATION IN ADAM"(in submission)

Reading Group分享。Adam 中的 weight decay 和 L2 方法。本篇文章指出了在某些情况下（Adam优化方法），不能等价weight decay和 L2正则的效果。并给出了weight decay 和学习率的解耦方案。