1、Autograd 求导机制
我们在用神经网络求解PDE时， 经常要用到输出值对输入变量（不是Weights和Biases）求导； 例如在训练WGAN-GP 时， 也会用到网络对输入变量的求导，pytorch中通过 Autograd 方法进行求导，其求导规则如下：
1.1当x为向量，y为一标量时
通过autograd 计算的梯度为：
1.2先假设x,y为一维向量
其对应的jacobi(雅可比）矩阵为
grad_outputs 是一个与因变量 y 的shape 一致的向量
在给定grad_outputs 后，通过Autograd 方法 计算的梯度如下:
1.3 当 x 为1维向量，Y为2维向量
给出grad_outputs 与Y的shape一致
Y 与x的jacobi矩阵
则 Y 对 x 的梯度:
1.4 当 X ，Y均为2维向量时
1.5 当X Y为更高维度时，可以按照上述办法转化为低维度的求导
值得注意的是：
- 求导后的梯度shape总与自变量X保持一致
- 对自变量求导的顺序并不会影响结果，某自变量的梯度值会放到该自变量原来相同位置
- 梯度是由每个自变量的导数值组成的向量，既有大小又有方向
- grad_outputs 与 因变量Y的shape一致，每一个参数相当于对因变量中相同位置的y进行一个加权。
2 pytorch求导方法
2.1 在求导前需要对需要求导的自变量进行声明
2.2 torch.autograd.gard()
grad = autograd.grad( outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False )
参数解释：
outputs:求导的因变量 Y
inputs : 求导自变量 X
grad_outputs:
- 当outputs为标量时，grad_outputs=None , 不需要写，
- 当outputs 为向量，需要为其声明一个与outputs相同shape的参数矩阵，该矩阵中的每个参数的作用是，对outputs中相同位置的y进行一个加权。 不然会报错
- autograd.grad()返回的是元组数据类型，元组的长度与inputs长度相同，元组中每个单位的shape与相同位置的inputs相同
retain_graph:
1、当求完一次梯度后默认会把图信息释放掉，都会free掉计算图中所有缓存的buffers，当要连续进行几次求导时，可能会因为前面buffers不存在而报错。
因为第二个梯度计算z对x的导数，需要y对x的计算导数的缓存信息，但是在计算grad1后，保存信息被释放，找不到了，因此报错。
修改如下：
2、一般计算的最后一个梯度可以不需要保存计算图信息，这样在计算后可以及时释放掉占用的内存。
3、在pytorch中连续多次调用backward()也会出现这样的问题,对中间的backwad()，需要保持计算图信息
create_graph: 若要计算高阶导数，则必须选为True
求二阶导方法如下：
allow_unused: 允许输入变量不进入计算
2.3 torch.backward()
def backward(
gradient: Optional[Tensor] = None,
retain_graph: Any = None,
create_graph: Any = False,
inputs: Any = None) -> Any
)
- 如果需要计算导数，可以在tensor上直接调用.backward(),会返回该tensor所有自变量的导数。通过name(自变量名).grad 可以获得该自变量的梯度
- 如果tensor是标量，则backward()不需要指定任何参数
- 如果tensor是向量，则backward()需要指定gradient一个与tensorshape相同的参数矩阵，即这里的gradient 同 grad_outputs 作用和形式完全一样。
