我们假设 p p p和 q q q是两个概率测度，并且它们对于第三个概率测度 λ \lambda λ来说是绝对连续的，则 p p p和 q q q的海林格距离（Hellinger Distance）的平方被定义如下：
H 2 ( p , q ) = 1 2 ∫ ( d p d λ − d q d λ ) 2 d λ H^2(p,q)=\frac{1}{2}\int(\sqrt{\frac{\text{d}p}{\text{d}\lambda}}-\sqrt{\frac{\text{d}q}{\text{d}\lambda}})^2\text{d}\lambda H2(p,q)=21∫(dλdp −dλdq )2dλ
这里的 d p d λ \frac{\text{d}p}{\text{d}\lambda} dλdp和 d q d λ \frac{\text{d}q}{\text{d}\lambda} dλdq分别是 p p p和 q q q的Radon–Nikodym微分。这里的定义是与 λ \lambda λ无关的，因此当我们用另外一个概率测度替换 λ \lambda λ时，只要 p p p和 q q q关于它绝对连续，那么上式就不变。为了简单起见，我们通常把上式改写为：
H 2 ( p , q ) = 1 2 ∫ ( d p − d q ) 2 d λ H^2(p,q)=\frac{1}{2}\int(\sqrt{\text{d}p}-\sqrt{\text{d}q})^2\text{d}\lambda H2(p,q)=21∫(dp −dq )2dλ
为了在经典的概率论框架下定义Hellinger距离，我们通常将 λ \lambda λ定义为Lebesgue度量，此时 d p d λ \frac{\text{d}p}{\text{d}\lambda} dλdp和 d q d λ \frac{\text{d}q}{\text{d}\lambda} dλdq就变为了我们通常所说的概率密度函数，那么可以用以下的积分形式表示Hellinger距离：
H 2 ( p , q ) = 1 2 ∫ ( d p d λ − d q d λ ) 2 d λ = 1 − ∫ d p d λ d q d λ d λ H^2(p,q)=\frac{1}{2}\int(\sqrt{\frac{\text{d}p}{\text{d}\lambda}}-\sqrt{\frac{\text{d}q}{\text{d}\lambda}})^2\text{d}\lambda=1-\int\sqrt{\frac{\text{d}p}{\text{d}\lambda} \frac{\text{d}q}{\text{d}\lambda}}\text{d}\lambda H2(p,q)=21∫(dλdp −dλdq )2dλ=1−∫dλdpdλdq dλ
上述等式可以通过展开平方项得到，注意到任何概率密度函数在其定义域上的积分为1,根据柯西-施瓦茨不等式（Cauchy-Schwarz Inequality），Hellinger距离满足如下性质：
0 ≤ H ( p , q ) ≤ 1 0\leq H(p,q)\leq 1 0≤H(p,q)≤1
对于两个离散概率分布 p = ( p 1 , p 2 , ⋯ , p n ) p=(p_1, p_2, \cdots, p_n) p=(p1,p2,⋯,pn)和 q = ( q 1 , q 2 , ⋯ , q n ) q=(q_1, q_2, \cdots, q_n) q=(q1,q2,⋯,qn)，它们的Hellinger距离可以定义如下：
H ( p , q ) = 1 2 ∑ i = 1 n ( p i − q i ) 2 H(p, q)=\frac{1}{\sqrt{2}}\sqrt{\sum_{i=1}^n(\sqrt{p_i}-\sqrt{q_i})^2} H(p,q)=2 1i=1∑n(pi −qi )2
上式也可以被看作两个离散概率分布平方根向量的欧几里得距离：
H ( p , q ) = 1 2 ∣ ∣ p − q ∣ ∣ 2 H(p, q)=\frac{1}{\sqrt{2}}||\sqrt{p}-\sqrt{q}||_2 H(p,q)=2 1∣∣p −q ∣∣2
也可以写成：
1 − H 2 ( p , q ) = ∑ i = 1 n p i q i 1 - H^2(p, q)=\sum_{i=1}^n\sqrt{p_iq_i} 1−H2(p,q)=i=1∑npiqi
下面我们来看一下海林格距离的Python实现：
def HellingerDistance(p, q):
import numpy as np
p = np.array(p)
q = np.array(q)
M = (p + q)/2
return 1/np.sqrt(2)*np.linalg.norm(np.sqrt(p)-np.sqrt(q))
