文章预览
解决 训练深度学习网络时候,出现Nan是什么原因,怎么才能避免?
2023年08月22日
329 字
训练深度学习的网络时候,迭代一定次数,会出现loss是nan,然后acc很快降低到了0.1,也就无法继续训练。 ### 梯度爆炸 梯度变得非常大,使得学习过程难以继续 梯度爆炸,解决方法:调学习率、梯度剪裁、归一化 加入gradient clipping; ### 不当的损失函数 ### 输入中就含有NaN。(这个才是最多的情况)♥ 计…
阅读全文
浏览
评论