Dywergencja Kullbacka-Leiblera

Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa $p$ i $q.$ Czasem zwana jest też odległością Kullbacka-Leiblera, nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna $(d_{KL}(p,q)\neq d_{KL}(q,p))$ ani nie spełnia nierówności trójkąta.

Definicja

Dywergencja Kullbacka-Leiblera dana jest wzorem:

$d_{KL}(p,q)=\sum _{i}p(i)\log _{2}{\frac {p(i)}{q(i)}},$

dla rozkładów dyskretnych, oraz

$d_{KL}(p,q)=\int \limits _{-\infty }^{\infty }p(x)\log _{2}{\frac {p(x)}{q(x)}}\;dx,$

dla rozkładów ciągłych. Dla przykładu, w typowym zastosowaniu $p$ reprezentuje dane rzeczywiste, zaś $q$ teoretyczny model.

Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne. $d_{KL}$ jest jedyną wartością tego typu charakteryzującą się pewnymi użytecznymi właściwościami charakteryzującymi miary entropii (m.in. jest ciągła i addytywna).

Oryginalna propozycja

Dywergencja K-L została przedstawiona przez S. Kullbacka i R.A. Leiblera w pracy z 1951, i w podręczniku z 1959; skupiali się oni na poniższej symetrycznej postaci:

$d_{KL}(p,q)+d_{KL}(q,p).$

Jak zwraca uwagę Kullback, podobną wartość wykorzystywało wcześniej m.in. małżeństwo Jeffreys. W 1987 zadeklarował, że spośród dziewięciu stosowanych wówczas dla tego wskaźnika nazw osobiście preferuje termin ang. discrimination information.

Uogólnienia i związki

Dywergencja Kullbacka-Leiblera jest przypadkiem dywergencji Bregmana i $f$-dywergencji. Informacja wzajemna to dywergencja ze wspólnego rozkładu do produktu rozkładów:

${\begin{aligned}\operatorname {I} (X;Y)&=d_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\&=\operatorname {E} _{X}\{d_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\&=\operatorname {E} _{Y}\{d_{\text{KL}}(P(X\mid Y)\parallel P(X))\}.\end{aligned}}$

Interpretacja i zastosowania

Dywergencja K-L może być rozumiana jako generalizacja entropii Shannona, oraz negatywna postać uogólnionej entropii Boltzmanna. Może reprezentować na przykład zmianę (przyrost lub stratę) lub różnicę (niedobór lub nadmiar) informacji pomiędzy dwoma rozkładami.

Jej minimalizacja jest stosowana na przykład przy wyborze optymalnych modeli statystycznych oraz systemów kodowania.

Choć $d_{kl}$ nie jest pseudoodległością, jej hesjan wyznacza tensor metryczny określany jako miara informacji Fishera.

Kryteria informacyjne

Wybór modeli statystycznych na podstawie $d_{KL}$ pozwalają zrealizować tzw. kryteria informacyjne. Akaike zauważył, że pomimo iż w praktyce hipotetyczny prawdziwy model jest nieznany i niedostępny jako odniesienie, to wyraża się jako nieokreślona stała, co nadal pozwala na dokonanie optymalizacji:

$d_{KL}(p_{?},q)={\text{const}}-E_{f}[log(q|x)].$

Po przekształceniach i uwzględnieniu poprawki na obciążenie oszacowania, wartością asymptotycznie minimalizującą oczekiwane $d_{KL}$ (maksymalizującą relatywną entropię) i pozwalającą na porównywanie alternatywnych modeli jest tzw. kryterium informacyjne Akaikego:

${\text{AIC}}=-2\ln(L(\theta |x)+2K,$

gdzie $L$ to funkcja wiarygodności, a $K$ to liczba estymowanych parametrów modelu. W intuicji oferowanej przez Bozdogana, pierwszy wyraz wzoru odpowiada oczekiwanemu niedopasowaniu modelu badawczego do danych spoza próby, i do prawdziwego modelu, a drugi złożoności, przekładającej się na nadmierne dopasowanie do próby. Wybór modelu wiąże się bowiem w praktyce z balansowaniem między tymi problemami (z kompromisem między obciążeniem a wariancją).

W późniejszej literaturze przedstawiono kolejne propozycje kryteriów informacyjnych, opartych na tej samej zasadzie, z dodatkowymi doprecyzowaniami, na przykład kryterium Schwarza lub Watanabe-Akaikego.

Zobacz też

• dywergencja Jensena-Shannona