Kullback-Leibler-Divergenz

De Begriffe Kullback-Leibler-Divergenz (KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information oda Kullback-Leibler-Obstond (noch Solomon Kullback und Richard Leibler) bezeichna a Moß fia de Untaschiedlichkeit vo zwoa Woahscheinlichkeitsvateilunga van sejm Eaeignishorizont. Tipischaweise representiad P Beobochtunga oda a präzise Woahscheinlichkeitsvateilung, weahnd Q a Modej oda a Approximazion doastejd.

De KL-Divergenz wead aa: relative Entropie gnennd, wobei da Begriff relative Entropie teiweis aa fia de Transinformazion vawendd wead.

Formoi lossd se de KL-Divergenz fia de Woahscheinlichkeitsfunkziona $P$ und $Q$ diskreta Weate foingdamoßn bstimma:

$D(P\|Q)=KL(P,Q)=\sum _{x\in X}P(x)\log _{2}{P(x) \over Q(x)}$

Beleg

•  S. Kullback, R. A. Leibler: On information and sufficiency. In: Annals of Mathematical Statistics. 22, Nr. 1, März 1951, S. 79–86.
•  S. Kullback, John Wiley & Sons (Hrsg.): Information theory and statistics. 1959.
• Springer Online Reference Works. eom.springer.de, abgerufen am 31. März 2008 (englisch).