神经网络的每一层可以看做是使用一个函数对变量的一次计算。在微分中链式法则用于计算复合函数的导数。反向传播时一种计算链式法则的算法，使用高效的特定运算顺序。
设x是实数，f和g是从实数映射到实数的函数。假设y=g(x)并且z=f(g(x))=f(y)。那么链式法则说的是
可以将这种标量情况进行扩展。假设x，y
，g是从
到
的映射，f是从
到R的映射。如果y=g(x)并且z=f(y)，那么
使用向量记法，可以等价地写成
这里是g的nxm的Jacobian矩阵。
从这里我们看到，变量x的梯度可以通过Jacobian矩阵和梯度
乘积来得到。反向传播算法由由图中每一个这样的Jacobian梯度的乘积操作所组成。通常我们将反向传播算法应用于任意维度的张量，而不仅仅是用于向量。从概念上讲，这与使用向量的反向传播完全相同。唯一区别的是如何将数字排成网络以形成张量。可以想象，在运行反向传播之前，将每个张量变平为一个向量，计算一个向量值梯度，然后将该梯度重新构造成一个张量。从这种重新排列的观点上看，反向传播仍然只是将Jacobian乘以梯度。
为了表示值z关于张量X的梯度，记为，就像X是张量一样。X的索引现在有多个坐标------例如，一个3维的张量由3个坐标索引。可以通过使用单个变量i来表示完整的索引元组，从而完全抽象出来。对所有可能的元组i，
给出
。这与向量中索引的方式完全一致，
给出
。使用这种记法，可以写出适用于张量的链式法则。如果Y=g(X)并且z=f(Y)，那么
