深度阅读

PyTorchLightning configure_optimizers 使用ReduceLROnPlateau

作者
作者
2023年08月22日
更新时间
9.41 分钟
阅读时间
0
阅读量

ReduceLROnPlateau自动优化


def configure_optimizers_v2(self):
    """优化器 自动优化器"""
    optimizer = AdamW(filter(lambda p: p.requires_grad, self.parameters()), lr=(self.hparams.learning_rate))
    #         使用自适应调整模型
    scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,mode='min',patience=3,factor=0.1,verbose=True)
<h1>https://github.com/PyTorchLightning/pytorch-lightning/blob/6dc1078822c33fa4710618dc2f03945123edecec/pytorch_lightning/core/lightning.py#L1119</h1>
<pre><code>lr_scheduler={
</code></pre>
<h1>'optimizer': optimizer,</h1>
<pre><code>   'scheduler': scheduler,
    'reduce_on_plateau': True, # For ReduceLROnPlateau scheduler
    'interval': 'epoch',
    'frequency': 1,
    'name':"lr_scheduler",
    'monitor': 'val_loss', #监听数据变化
    'strict': True,
}
</code></pre>
<h1>return [optimizer], [lr_scheduler]</h1>
<pre><code>return {"optimizer": optimizer, "lr_scheduler": lr_scheduler}
</code></pre>

博客作者

热爱技术,乐于分享,持续学习。专注于Web开发、系统架构设计和人工智能领域。