梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
在一元函数里，因为只有一个方向，所以直接使用导数就可以描述变化率了。而在多元函数里，就像在一开始的例子中，我们的小兔子是可以往东南西北甚至更多的方向蹦跶的，是个 3D 游戏 …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
为了降低随机梯度的方差，从而使得迭代算法更加稳定，也为了充分利用高度优化的矩阵运算操作，在实际应用中我们会同时处理若干训练数据，该方法被称为小批量梯度下降法 (Mini- Batch …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
梯度是雅可比矩阵的一种特殊形式，当m=1时函数的雅可比矩阵就是梯度，这个概念原是为场论设定的，任何场都可以用来理解梯度，后来被引用到数学中用来指明函数在指定点的变量率最快 …
如何理解 natural gradient descent? - 知乎
看到一篇文章写得非常浅显易懂： What is the natural gradient, and how does it work? 总结一下： 拿神经网络中的反向传播算法举例，我们计算各个权值w关于损失函数的导数，得到一个梯度 …
如何入门分布上的优化/Wasserstein gradient flow？ - 知乎
Mar 20, 2025 · Wasserstein gradient flow是概率空间的gradient flow,目前在machine learning,optimization, applied math等很多领域里面都算是非常热门的话题 最早的wasserstein …
机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam）
Apr 6, 2024 · 1 主要优化器 1.1 SGD SGD全称Stochastic Gradient Descent，随机梯度下降，1847年提出。 每次选择一个mini-batch，而不是全部样本，使用梯度下降来更新模型参数。 …
如何评价 Meta 新论文 Transformers without Normalization？ - 知乎
Normalization这个事得好好掰扯掰扯。 上古时期，网络经常在初始几个iteration之后，loss还没下降就不动，必须得把每一层的gradient与weight的比值打印出来，针对性地调整每一层的初始 …
机器学习 | 近端梯度下降法 (proximal gradient descent)
2.2 近端梯度下降 (proximal gradient descent) 对于优化问题 ，变量 的迭代递推公式为 其中，变量上标的 表示当前迭代次数。 迭代递推公式证明过程（涉及知识：泰勒展开）: 注意：由于公式 …
如何理解策略梯度（Policy Gradient）算法？ - 知乎
Actor-Critic算法结合了策略梯度（Policy Gradient）方法和值函数估计的优点，旨在通过两个不同的神经网络来学习：一个用于学习策略（Actor），另一个用于评估状态的价值（Critic）。
为什么在光滑凸优化研究中，Lipschitz gradient比strongly convex …
为什么在光滑凸优化研究中，Lipschitz gradient比strongly convex更普遍？ 在凸优化研究的各类论文里，我们经常看到lipschitz gradient的假设，似乎已经是tradition了；与之相比，strongly …