深度阅读 pytorch 深度学习 损失函数 kldivloss 蒸馏 torch KLDivLoss计算损失出现负数 作者 作者 2023年08月22日 更新时间 2.3 分钟 阅读时间 0 阅读量 KLDivLoss损失出现负数 KL散度的input部分需要经过log的计算 分布结果相加需要为1 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label_smoothing就采用这个；另外知识蒸馏更是需要依赖它。 官方文档 https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html 相关标签 pytorch 深度学习 损失函数 kldivloss 蒸馏
pytorch 深度学习 损失函数 kldivloss 蒸馏 torch KLDivLoss计算损失出现负数 作者 作者 2023年08月22日 更新时间 2.3 分钟 阅读时间 0 阅读量 KLDivLoss损失出现负数 KL散度的input部分需要经过log的计算 分布结果相加需要为1 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label_smoothing就采用这个；另外知识蒸馏更是需要依赖它。 官方文档 https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html 相关标签 pytorch 深度学习 损失函数 kldivloss 蒸馏