https://index.zshipu.com/geek/tags/%E9%A2%84%E8%AE%AD%E7%BB%83/ Recent content in 预训练 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 09:05:45 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%87%E5%AD%97%E8%A7%A3%E8%AF%BB%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E6%9C%80%E6%96%B0%E7%BB%BC%E8%BF%B0/ Tue, 15 Mar 2022 09:05:45 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E4%B8%87%E5%AD%97%E8%A7%A3%E8%AF%BB%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E6%9C%80%E6%96%B0%E7%BB%BC%E8%BF%B0/ Datawhale学术 作者：太子长琴，Datawhale意向成员 如何在有限数据下训练出高效的深度学习模型？本文深入研究了 预训练的前世今生，并带领读者一起回顾 PTM取得的最新突破，与未来的研究方向（文末附90分钟解读视频）。 利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%BE%BE%E6%91%A9%E9%99%A2%E6%9D%8E%E9%9B%85%E4%BA%AE%E5%A4%A7%E8%A7%84%E6%A8%A1%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8E%8B%E7%BC%A9%E5%92%8C%E8%92%B8%E9%A6%8F/ Mon, 14 Mar 2022 18:12:37 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E8%BE%BE%E6%91%A9%E9%99%A2%E6%9D%8E%E9%9B%85%E4%BA%AE%E5%A4%A7%E8%A7%84%E6%A8%A1%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8E%8B%E7%BC%A9%E5%92%8C%E8%92%B8%E9%A6%8F/ 分享嘉宾：李雅亮博士 阿里巴巴 编辑整理：陈东 东南大学 出品平台：DataFunTalk 导读： 本次分享的主题为大规模预训练模型的压缩和蒸馏，主要是从自动机器学习的角度，介绍大规模预训练模型的压缩和蒸馏。将介绍阿里巴巴达摩院关于模型压缩的三个连续承接性的工作： 工作1：AdaBERT：Ta