深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一 …
大模型优化利器：RLHF之PPO、DPO
Jan 21, 2025 · 最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor …
什么是「过拟合」，如何判断，常见的原因是什么？ - 知乎
1. 什么是过拟合？ 过拟合是机器学习模型的常见问题之一。它指的是模型在训练数据上表现得非常好，但在未见过的测试数据中表现不佳。可以理解为某学生题海战术做太多了，平时都是原题 …
请教一个问题，训练网络时loss为什么要写成running_loss
请教一个问题，训练网络时loss为什么要写成running_loss += loss.item ()？ print的时候显示的时候也并不是叠加，running_loss和loss.item ()的值始终保持一致，但是为什么要写成+=呢，我之 …
DeepSeek的GRPO算法是什么？ - 知乎
Deepseek V3技术报告中的GRPO算法是什么
损失函数｜交叉熵损失函数 - 知乎
1.3 Cross Entropy Loss Function（交叉熵损失函数） 1.3.1 表达式 (1) 二分类 在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 和 ，此时表达 …
究竟什么是损失函数 loss function? - 知乎
如何设计loss函数？ Loss函数和你任务的评价准则越相关，二者越接近越好。 如果你任务的评价准则是F1-score（不可导），但一直在使用CrossEntropy Loss来迭代模型，二者之间虽然相关 …
请问MSE loss 大小多少才表示模型优化效果好呢？0.01大概是什么 …
不光是MSE loss, 任何loss只是优化的途径，并不是衡量模型好坏的唯一标准。 通常的做法是，建立一个baseline 模型，查看效果，这里的效果是你真正要优化的目标，比如precision, recall, …
哪里有标准的机器学习术语 (翻译)对照表？ - 知乎
L 损失 (Loss) 一种衡量指标，用于衡量模型的预测偏离其标签的程度。 或者更悲观地说是衡量模型有多差。 要确定此值，模型必须定义损失函数。 例如，线性回归模型通常将均方误差用作损 …
如何理解Adam算法 (Adaptive Moment Estimation)？ - 知乎
(我曾写过一个Momentum的简单介绍： 怎么通俗易懂的理解SGD中Momentum的含义？ ) Adaptive Learning Rate则是利用过去梯度second moment信息来确定各个方向的学习率的大 …