https://index.zshipu.com/geek001/tags/LLM%E8%AE%AD%E7%BB%83/ Recent content in LLM训练 on 知识铺的博客 Hugo -- gohugo.io zh-CN Wed, 02 Sep 2026 00:00:00 +0000 https://index.zshipu.com/geek001/post/20260902/LLM%E6%8D%9F%E5%A4%B1%E6%99%AF%E8%A7%82%E9%AB%98%E7%BB%B4%E7%A9%BA%E9%97%B4%E9%87%8C%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E8%B8%A9%E5%87%BA%E7%9A%84%E9%82%A3%E5%BC%A0%E5%9C%B0%E5%9B%BE/ Wed, 02 Sep 2026 00:00:00 +0000 https://index.zshipu.com/geek001/post/20260902/LLM%E6%8D%9F%E5%A4%B1%E6%99%AF%E8%A7%82%E9%AB%98%E7%BB%B4%E7%A9%BA%E9%97%B4%E9%87%8C%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E8%B8%A9%E5%87%BA%E7%9A%84%E9%82%A3%E5%BC%A0%E5%9C%B0%E5%9B%BE/ 开篇 一个拥有数百亿参数的模型，其训练过程仅仅是反复在高维空间中将一个点向下推动。这句描述指向了损失景观的复杂几何。梯度下降的每一步都受这个未知地图影响，平坦区域和尖锐谷底决定了模型是否能有效收敛并泛化到新数据。 损失景观就是模型所有可能参数配置对应的损失函数值在高维空间里形成的曲面