https://index.zshipu.com/geek/tags/AdamW/ Recent content in AdamW on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 09:07:54 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%98%91%E8%8F%87%E8%A1%97%E5%A2%9E%E9%87%8F%E5%AD%A6%E4%B9%A0%E7%95%AA%E5%A4%96%E7%AF%87%E4%BA%8C%E4%BC%98%E5%8C%96%E5%99%A8%E8%AE%BE%E8%AE%A1%E7%90%86%E8%AE%BA%E7%AF%87/ Tue, 15 Mar 2022 09:07:54 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%98%91%E8%8F%87%E8%A1%97%E5%A2%9E%E9%87%8F%E5%AD%A6%E4%B9%A0%E7%95%AA%E5%A4%96%E7%AF%87%E4%BA%8C%E4%BC%98%E5%8C%96%E5%99%A8%E8%AE%BE%E8%AE%A1%E7%90%86%E8%AE%BA%E7%AF%87/ 作者：美丽联合集团 算法工程师 琦琦 ， 公众号关注：诗品算法 0、引言 在增量学习中，针对不同的模型结构，我们可以设计不同的优化器承接。在这篇文章中，我将为大家详细阐述我们在实践中尝试过的优化器原理及其优缺点。我们最终选择的是AdaDeltaW和FTRL，原因就藏在这篇文章中～相信你会怀揣