AdaBound 一个北大提出的优化器,训练速度和Adam一样快,和SGD一样好

一种优化器,它可以像Adam一样快速地训练,也可以像sgd一样训练,用于在cv、nlp等领域的各种流行任务上开发最先进的深度学习模型。北大提出全新优化算法AdaBound。