范数 ，对应闵可夫斯基距离 (Minkowski distance) ，其定义如下：

【定义2】Lp范数

假设n维向量 x = ( x 1 , x 2 , ⋯   , x n ) T x = (x_1,x_2,\cdots,x_n)^T x=(x1​,x2​,⋯,xn​)T，其Lp范数记作 ∣ ∣ x ∣ ∣ p ||x||_p ∣∣x∣∣p​，定义为
∣ ∣ x ∣ ∣ p = ( ∣ x 1 ∣ p + ∣ x 2 ∣ p + ⋯ + ∣ x n ∣ p ) 1 p ||x||_p = (|x_1|^p+|x_2|^p+\cdots+|x_n|^p)^{\frac{1}{p}} ∣∣x∣∣p​=(∣x1​∣p+∣x2​∣p+⋯+∣xn​∣p)p1​

范数具有如下定义：

  • 正定性： ∣ ∣ x ∣ ∣ ≥ 0 ||x|| \ge 0 ∣∣x∣∣≥0，且有 ∣ ∣ x ∣ ∣ = 0 ⇔ x = 0 ||x||=0 \Leftrightarrow x=0 ∣∣x∣∣=0⇔x=0；
  • 正齐次性： ∣ ∣ c x ∣ ∣ = ∣ c ∣   ∣ ∣ x ∣ ∣ ||cx|| = |c| \ ||x|| ∣∣cx∣∣=∣c∣ ∣∣x∣∣；
  • 次可加性（三角不等式）： ∣ ∣ x + y ∣ ∣ ≤ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y|| \le ||x|| + ||y|| ∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣。

将0、1、2、 + ∞ +\infty +∞分别代入上述定义，就得到了常见的 L0范数 、 L1范数 和 L2范数 和 无穷范数 。

L0范数

【定义3】L0范数

假设n维向量 x = ( x 1 , x 2 , ⋯   , x n ) T x = (x_1,x_2,\cdots,x_n)^T x=(x1​,x2​,⋯,xn​)T，其L0范数记作 ∣ ∣ x ∣ ∣ 0 ||x||_0 ∣∣x∣∣0​，定义为向量中非0元素的个数。

L1范数

【定义4】L1范数

假设n维向量 x = ( x 1 , x 2 , ⋯   , x n ) T x = (x_1,x_2,\cdots,x_n)^T x=(x1​,x2​,⋯,xn​)T，其L1范数记作 ∣ ∣ x ∣ ∣ 1 ||x||_1 ∣∣x∣∣1​，定义为
∣ ∣ x ∣ ∣ 1 = ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ||x||_1 = |x_1|+|x_2|+\cdots+|x_n| ∣∣x∣∣1​=∣x1​∣+∣x2​∣+⋯+∣xn​∣

向量的L1范数即为向量中各个元素绝对值之和，对应曼哈顿距离 (Manhattan distance)。

L2范数

【定义5】L2范数

假设n维向量 x = ( x 1 , x 2 , ⋯   , x n ) T x = (x_1,x_2,\cdots,x_n)^T x=(x1​,x2​,⋯,xn​)T，其L2范数记作 ∣ ∣ x ∣ ∣ 2 ||x||_2 ∣∣x∣∣2​，定义为
∣ ∣ x ∣ ∣ 2 = ( ∣ x 1 ∣ 2 + ∣ x 2 ∣ 2 + ⋯ + ∣ x n ∣ 2 ) 1 2 ||x||_2 = (|x_1|^2+|x_2|^2+\cdots+|x_n|^2)^{\frac{1}{2}} ∣∣x∣∣2​=(∣x1​∣2+∣x2​∣2+⋯+∣xn​∣2)21​

向量的L2范数即为向量中各个元素平方和的平方根，对应欧式距离 (Manhattan distance)。

无穷范数

【定义6】无穷范数

假设n维向量 x = ( x 1 , x 2 , ⋯   , x n ) T x = (x_1,x_2,\cdots,x_n)^T x=(x1​,x2​,⋯,xn​)T，其无穷范数记作 ∣ ∣ x ∣ ∣ ∞ ||x||_\infty ∣∣x∣∣∞​，定义为
∣ ∣ x ∣ ∣ ∞ = m a x ( ∣ x 1 ∣ , ∣ x 2 ∣ , ⋯   , ∣ x n ∣ ) ||x||_\infty = max(|x_1|,|x_2|,\cdots,|x_n|) ∣∣x∣∣∞​=max(∣x1​∣,∣x2​∣,⋯,∣xn​∣)

向量的无穷范数即为向量中各个元素绝对值的最大值，对应切比雪夫距离 (Chebyshev distance)。