pytorch 当前学习率

原创

mob64ca12f86e32 2024-11-03 11:22:42 ©著作权

文章标签 深度学习迭代权重 文章分类 PyTorch 人工智能

©著作权归作者所有：来自51CTO博客作者mob64ca12f86e32的原创作品，请联系作者获取转载授权，否则将追究法律责任

PyTorch 中的当前学习率：深入理解与应用

在深度学习训练过程中，学习率是一个至关重要的超参数。学习率决定了模型在每次迭代中更新权重的步伐，影响训练的速度和稳定性。本文将介绍如何在 PyTorch 中获取当前学习率，并提供相关代码示例，帮助读者更好地应用学习率的概念。

学习率的基本概念

学习率（Learning Rate）是一个非负值，通常用一个小数来表示。其作用是在梯度下降的过程中用来控制权重更新的幅度。如果学习率过小，模型可能需要较长时间进行训练；如果学习率过大，可能会导致训练不稳定，甚至使得模型无法收敛。

如何获取当前学习率

在 PyTorch 中，学习率通常通过优化器来设置和调整。以下是一个简单的示例，展示如何在训练过程中获取当前学习率：

import torch
import torch.optim as optim

# 假设我们的模型是一个简单的线性层
model = torch.nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 模拟训练过程
for epoch in range(5):
    # 打印当前学习率
    current_lr = scheduler.get_lr()  # 假设使用了学习率调度器
    print(f"Epoch {epoch+1}, Current Learning Rate: {current_lr}")
    
    # 模拟损失计算和梯度更新
    loss = model(torch.randn(10)).sum()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

在这个示例中，我们设置了一个简单的线性模型，并使用了 SGD 优化器。通过调用 scheduler.get_lr() 方法，我们可以在每次迭代中获取当前的学习率。

使用调度器动态调整学习率

为了在训练过程中动态调整学习率，PyTorch 提供了多种学习率调度器。例如，StepLR 可在每隔若干个 epoch 后降低学习率。以下是使用 StepLR 的示例：

from torch.optim.lr_scheduler import StepLR

scheduler = StepLR(optimizer, step_size=2, gamma=0.1)

for epoch in range(10):
    optimizer.step()  # 更新模型
    scheduler.step()  # 更新学习率

    # 打印当前学习率
    current_lr = scheduler.get_last_lr() 
    print(f"Epoch {epoch+1}, Current Learning Rate: {current_lr}")

学习率与训练效果的关系

下图展示了学习率与模型训练效果之间的关系。

erDiagram
    LEARNING_RATE {
        float rate "学习率"
    }
    TRAINING_EFFECT {
        float loss "损失值"
        float accuracy "准确率"
    }

    LEARNING_RATE ||--o{ TRAINING_EFFECT : AFFECTS

实战中的学习率调度

训练深度学习模型时，一般会设置一个整个训练过程的学习率计划，尤其是在长时间训练的情况下。使用调度器可以让学习率在训练过程中自动调整，提高训练整体效果。

以下是一个简单的甘特图，展示一个典型训练过程中的学习率调整步骤。

gantt
    title 学习率调整计划
    dateFormat  YYYY-MM-DD
    section 学习率初始阶段
    Step 1 :a1, 2023-10-01, 10d
    Step 2 :after a1  , 10d
    section 学习率衰减阶段
    Step 3 :after a1  , 20d