文章预览 使用Focal Loss损失函数解决样本不均衡问题 对于少数类别的样本赋予更高的权重。 2023年08月22日 685 字 Focal Loss的定义 ------------- 理论定义:Focal Loss可以看作是一个损失函数，它使容易分类的样本权重降低，而对难分类的样本权重增加。 Focal Loss基本上是交叉熵损失的延伸。它足够具体地处理阶级不平衡的问题。 https://github.com/yatengLG/Focal-Loss-Pytorch http… 默认 pytorch 损失函数 样本不均衡 阅读全文 浏览 评论
文章预览 torch KLDivLoss计算损失出现负数 2023年08月22日 230 字 KLDivLoss损失出现负数 --------------- 1. KL散度的input部分需要经过log的计算 2. 分布结果相加需要为1 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label\_smoothing就采用这个；另外知识蒸馏更是需要依赖它。 官方文档 pytorch 深度学习 损失函数 kldivloss 蒸馏 阅读全文 浏览 评论
文章预览 损失函数 2023年08月22日 805 字 **损失函数** 评价模型预测值和真实值的函数为损失函数（loss function）。它是一个非负实值函数，损失函数越小，模型的性能就越好。 o L1 loss也称Mean Absolute Error，简称MAE，计算实际值和预测值之间的绝对差之和的平均值。 o L2 loss也称为Mean Squared Error，简称MSE，计算实际… 损失函数 阅读全文 浏览 评论