文章预览 torch KLDivLoss计算损失出现负数 2023年08月22日 230 字 KLDivLoss损失出现负数 --------------- 1. KL散度的input部分需要经过log的计算 2. 分布结果相加需要为1 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label\_smoothing就采用这个；另外知识蒸馏更是需要依赖它。 官方文档 pytorch 深度学习 损失函数 kldivloss 蒸馏 阅读全文 浏览 评论
文章预览 如何将Pegasus这种大型文本摘要模型 上线服务 2023年08月22日 1200 字 ### 2022-07-02 05:38:47 星期六 最近又尝试了下谷歌的这个模型，在文本摘要和标题生成任务上的表现着实很惊艳。另外我还在尝试给文本内容生成评价回复，效果也是很好的，而且收敛速度也是极快的。tks kaggle --- 大模型虽然好，但是上线这钱没几个能烧的起。这时候蒸馏就是一个 不错的选择 > > 一旦我们训练了… google 蒸馏 pegasus 文本摘要 模型 阅读全文 浏览 评论