学习教材：
动手学深度学习 PYTORCH 版(DEMO)
(https://github.com/ShusenTang/Dive-into-DL-PyTorch)
PDF 制作by [Marcus Yang](https://github.com/chenyang1999)
本文目录：
- 1. 前言
- 2.Tensor的.requires_grad属性
- 3. Tensor 的 detach()函数
- 4. Tensor的 .grad_fn属性
- 5.代码验证
- 6. 求梯度
- 7.计算backward()标量与张量的问题：
- 8.中断梯度追踪的例子
1. 前言
Pytorch 提供的autograd包能够根据输入和前向传播过程自动构建计算图。
2.Tensor的.requires_grad属性
如果将torch.Tensor的属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作(这样可以通过链式法则进行梯度传播了)。计算完成后，可以通过用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。
定义Tensor时默认.requires_grad的值为False。
y,backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。
3. Tensor 的 detach()函数
如果不想要被继续追踪，可以调用.detach将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了。此外，还可以用with torch.no_grad()将不想被追踪的代码块包裹起来。此做法在评估模型时非常常见，因为在评估模型时不需要计算可训练参数requires_grad=True的梯度。
4. Tensor的 .grad_fn属性
Function 是另外一个很重要的类。Tensor和Function相互结合就可以构建一个记录有整个计算过程的有向无环图(DAG)。每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function，就是说该Tensor是不是通过某些计算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。
5.代码验证
1.创建一个Tensor，并设置requires_grad=True:
x = torch.ones(2,2,requires_grad=True)
print(x)
print(x.grad_fn)输出结果：
tensor([[1., 1.],
[1., 1.]], requires_grad=True)
None2.再进行一个运算操作：
y = x+2
print(y.grad_fn)输出结果：
tensor([[3., 3.],
[3., 3.]], grad_fn=<AddBackward>)
<AddBackward object at 0x1100477b8>注意：x是直接创建的，所以没有grad_fn，而y是通过一个加法操作而创建的，所以它有一个为<AddBackward>的grad_fn。
3.像x这种直接创建的称为叶子节点，叶子节点对应的grad_fn是None。
print(x.is_leaf,y.is_leaf)输出结果：
True False4.再进行复杂一些的操作：
z = y*y*3
out = z.mean()
print(z)
print(out)输出结果：
tensor([[27., 27.],
[27., 27.]], grad_fn=<MulBackward>)
tensor(27., grad_fn=<MeanBackward1>)5.通过.requires_grad_()来用in-place的方式改变requires_grad的属性：
a = torch.randn(2,2) #缺失情况下默认requires_grad = False
a = ((a*3)/(a-1))
print(a.requires_grad) # False
a.requires_grad_(True)
print(a.reuqires_grad) # True
b = (a*a).sum()
print(b.grad_fn)输出结果：
False
True
<SumBackward0 object at 0x118f50cc0>6. 求梯度
延续之前代码，因为out是一个标量，所以调用backward()时不需要指定求导变量:
out.backward() # 等价于 out.backward(torch.tensor(1.))我们来看看out关于x的梯度 d(out)/dx:
print(x.grad)输出结果：
tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])我们令 out 为 o, 因为
所以
所以上⾯的输出是正确的。
那么根据链式法则我们有 关于 的雅克⽐矩阵就为:
注意：grad在反向传播过程中时累加的(accumulated),意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。
# 再来反向传播一次，注意grad是累加的
out2 = x.sum()
out2.backward()
print(x.grad)
out3 = x.sum()
x.grad.data.zero_()
out.backward()
print(x.grad)输出结果：
tensor([[5.5000, 5.5000],
[5.5000, 5.5000]])
tensor([[1., 1.],
[1., 1.]])7.计算backward()标量与张量的问题：
为了避免反向传播时多维张量与多维张量相乘带来的一系列问题，我们不允许张量对张量求导，只允许标量对张量求导，求导结果是和自变量同形的张量。
所以必要时我们要将所有张量的元素加权求和的方式转换成标量。
举例说明：
假设y由自变量x计算而来，w是和y同形的张量，则y.backward()的含义是：
先计算l = torch.sum(y*w)，则l是个标量，然后对l求自变量x的导数。
代码例子：
x = torch.tensor([1.0,2.0,3.0,4.0],reuqires_grad=True)
y = 2 * x
z = y.view(2,2)
print(z)输出结果：
tensor([[2., 4.],
[6., 8.]], grad_fn=<ViewBackward>)现在y不是一个标量，所以在调用backward()时需要传入一个和y同形的权重向量进行加权求和得到一个标量。
v = torch.tensor([[1.0,0.1],[0.01,0.001]],dtype=torch.float)
z.backward(v)
print(x.grad)输出结果：
tensor([2.0000, 0.2000, 0.0200, 0.0020])注意：x.grad是和x同形的张量。
8.中断梯度追踪的例子
x = torch.tensor(1.0,requires_grad=True)
y1 = x ** 2
with torch.no_grad():
y2 = x ** 3
y3 = y1+y2
print(x.requires_grad)
print(y1,y1.requires_grad) #True
print(y2,y2.requires_grad) # False
print(y3,y3.requires_grad) # True输出结果：
True
tensor(1., grad_fn=<PowBackward0>) True
tensor(1.) False
tensor(2., grad_fn=<ThAddBackward>) True可以看到，上面的y2是没有grad_fn的，而且y2.reuqires_grad=False的，而y3是有grad_fn的。如果我们将y3对x求梯度的话会这么样？
y3.backward()
print(x.grad)输出结果：
tensor(2.)为什么会是2？
因为y3=y2+y1=x3+x2,实际上，由于y2的定义是被torch.no_grad()所包裹的，所以与y2有关的梯度不会回传，只有与y1有关的梯度才会回传,即x**2对x的梯度。
上面提到，y2.requires_grad=False,所以不能调用y2.backward(),会报错：
RuntimeError: element 0 of tensors does not require grad and does
not have a grad_fn如果我们想要修改tensor的数值，但是又不希望被autograd记录(即不会影响反向传播)，那么我们可以对tensor.data进行操作：
x = torch.ones(1,requires_grad=True)
print(x.data) # 还是一个tensor
print(x.data.requires_grad) # 但是已独立于计算图之外
y = 2*x
x.data *= 100 # 只改变了值，不会记录在计算图，所以不会影响梯度传播
y.backward()
print(x) # 更改了data的值也会影响tensor的值
print(x.grad)tensor([1.])
False
tensor([100.], requires_grad=True)
tensor([2.])
