https://index.zshipu.com/ai/tags/%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95/ Recent content in 随机梯度下降法 on 知识铺的博客 Hugo -- gohugo.io zh-CN Wed, 18 Dec 2024 08:04:24 +0000 https://index.zshipu.com/ai/post/20241218/%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95Stochastic-gradient-descent-SGD-AI%E5%85%A8%E4%B9%A6--%E7%9F%A5%E8%AF%86%E9%93%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ Wed, 18 Dec 2024 08:04:24 +0000 https://index.zshipu.com/ai/post/20241218/%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95Stochastic-gradient-descent-SGD-AI%E5%85%A8%E4%B9%A6--%E7%9F%A5%E8%AF%86%E9%93%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ 随机梯度下降（SGD）是一种迭代优化方法，用于最小化可微分目标函数。与标准梯度下降不同，SGD在每次迭代中仅使用一个或少量样本来计算梯度，而不是整个训练集。这种方法的随机性来源于样本的随机选择或混洗，而不是按照训练集中出现的顺序选择。SGD被认为是随机的，因为它依赖于随机样本来估