目录
1. 使用 torch.autograd 进行自动微分
2. 张量、函数和计算图
3. 计算梯度
4. 禁用梯度跟踪
5. 关于计算图的更多内容
选读：张量梯度和雅可比积
1. 使用 torch.autograd 进行自动微分
在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。
为了计算这些梯度，PyTorch 有一个名为 torch.autograd 的内置微分引擎。它支持任何计算图的梯度自动计算。
考虑最简单的一层神经网络，输入 x、参数 w 和 b，以及一些损失函数。它可以通过以下方式在 PyTorch 中定义：
import torch
x = torch.ones(5) # input tensor
y = torch.zeros(3) # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)2. 张量、函数和计算图
上述代码定义了以下计算图：
在这个网络中，w 和 b 是我们需要优化的参数。因此，我们需要能够计算损失函数相对于这些变量的梯度。为此，我们设置了这些张量的 requires_grad 属性。
Note: 可以在创建张量时设置 requires_grad 的值，或者稍后使用 x.requires_grad_(True) 方法设置。
我们应用于张量以构建计算图的函数实际上是Function类的对象。这个对象知道如何计算正向的函数，以及如何在反向传播步骤中计算它的导数。对反向传播函数的引用存储在张量的 grad_fn 属性中。您可以在这里中找到更多关于 Function 的信息。
print(f"Gradient function for z = {z.grad_fn}")
print(f"Gradient function for loss = {loss.grad_fn}")
out:
>> Gradient function for z = <AddBackward0 object at 0x7f885ddab210>
>> Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x7f885d8a1b90>3. 计算梯度
为了优化神经网络中参数的权重，我们需要计算我们的损失函数对参数的导数。为了计算这些导数，我们调用 loss.backward()，然后从 w.grad 和 b.grad 中取值：
loss.backward()
print(w.grad)
print(b.grad)
out:
>> tensor([[0.1702, 0.0790, 0.0602],
[0.1702, 0.0790, 0.0602],
[0.1702, 0.0790, 0.0602],
[0.1702, 0.0790, 0.0602],
[0.1702, 0.0790, 0.0602]])
>> tensor([0.1702, 0.0790, 0.0602])Note:
- 我们只能获取计算图叶节点的 grad 属性，其中 requires_grad 属性设置为 True。对于我们图中的所有其他节点，梯度将不可用。
- 出于性能原因，我们只能在给定的图上使用一次反向梯度计算。如果我们需要对同一个图进行多次反向调用，我们需要将 retain_graph=True 传递给反向调用。
4. 禁用梯度跟踪
默认情况下，所有 requires_grad=True 的张量都在跟踪它们的计算历史并支持梯度计算。但是，在某些情况下我们不需要这样做，例如，当我们训练了模型并且只想将其应用于某些输入数据时，即我们只想通过网络进行前向计算。我们可以通过用 torch.no_grad() 块包围我们的计算代码来停止跟踪计算：
z = torch.matmul(x, w)+b
print(z.requires_grad)
with torch.no_grad():
z = torch.matmul(x, w)+b
print(z.requires_grad)
out:
>> True
>> False实现相同结果的另一种方法是在张量上使用 detach() 方法：
z = torch.matmul(x, w)+b
z_det = z.detach()
print(z_det.requires_grad)
out:
>> False您可能希望禁用梯度跟踪的原因如下：
- 将神经网络中的某些参数标记为冻结参数。这是微调预训练网络的一个非常常见的场景。
- 当您只进行前向传播时加快计算速度，因为在不跟踪梯度的张量上进行计算会更有效。
5. 关于计算图的更多内容
从概念上讲，autograd在一个由Function对象组成的有向无环图（DAG）中保存了数据（张量）和所有执行的操作（以及产生的新张量）的记录。在DAG中，叶子是输入张量，根部是输出张量。通过追踪这个图从根到叶，你可以使用链式规则自动计算梯度。
在前向传播中，autograd 同时做两件事：
- 运行请求操作以计算结果张量
- 在 DAG 中保持操作的梯度函数
当在DAG根部调用.backward()时，反向传播就会启动：
- 从每个 .grad_fn 计算梯度
- 将它们累积在相应张量的 .grad 属性中
- 使用链式法则，一直传播到叶张量
Note: DAG 在 PyTorch 中是动态的 需要注意的是，图形是从头开始重新创建的；在每次调用.backward()后，autograd开始填充一个新的图形。这正是允许你在模型中使用控制流语句的原因；如果需要，你可以在每次迭代时改变形状、大小和操作。
选读：张量梯度和雅可比积
在许多情况下，我们有一个标量损失函数，我们需要计算相对于某些参数的梯度。然而，有些情况下，输出函数是一个任意的张量。在这种情况下，PyTorch允许你计算所谓的雅可比乘积，而不是实际的梯度。
对于一个向量函数
，其中
，
，
的梯度是关于
由雅可比矩阵给出的：
对于给定的输入向量
，PyTorch 允许您计算雅可比乘积 
作为参数调用 backward 来实现的。
的大小应该与我们想要计算乘积的原始张量的大小相同：
inp = torch.eye(5, requires_grad=True)
out = (inp+1).pow(2)
out.backward(torch.ones_like(inp), retain_graph=True)
print(f"First call\n{inp.grad}")
out.backward(torch.ones_like(inp), retain_graph=True)
print(f"\nSecond call\n{inp.grad}")
inp.grad.zero_()
out.backward(torch.ones_like(inp), retain_graph=True)
print(f"\nCall after zeroing gradients\n{inp.grad}")Out:
First call
tensor([[4., 2., 2., 2., 2.],
[2., 4., 2., 2., 2.],
[2., 2., 4., 2., 2.],
[2., 2., 2., 4., 2.],
[2., 2., 2., 2., 4.]])Second call
tensor([[8., 4., 4., 4., 4.],
[4., 8., 4., 4., 4.],
[4., 4., 8., 4., 4.],
[4., 4., 4., 8., 4.],
[4., 4., 4., 4., 8.]])Call after zeroing gradients
tensor([[4., 2., 2., 2., 2.],
[2., 4., 2., 2., 2.],
[2., 2., 4., 2., 2.],
[2., 2., 2., 4., 2.],
[2., 2., 2., 2., 4.]])
请注意，当我们第二次以相同的参数调用 backward 时，梯度的值是不同的。这是因为在进行反向传播时，PyTorch会累积梯度，也就是说，计算出的梯度值会加到计算图的所有叶子节点的梯度属性中。如果你想计算正确的梯度，你需要在之前将梯度属性清零。在现实的训练中，优化器可以帮助我们做到这一点。
Note: 之前我们在调用 backward() 函数的时候是没有参数的。这基本上等同于调用 backward(torch.tensor(1.0)) ，这是在标量值函数的情况下计算梯度的有效方法，比如神经网络训练中的损失。
