Kullback-Leibler-Divergenz

Aus Wikipedia
Wexln zua: Navigation, Suach

De Begriffe Kullback-Leibler-Divergenz (KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information oda Kullback-Leibler-Obstand (nach Solomon Kullback und Richard Leibler) bezeichna a Moß fia de Untaschiedlichkeit vo zwoa Woarscheinlichkeitsvateilungen vom säim Ereignishorizonts. Tipischaweise repräsentiat P Beobachtungen oda a präzise Woarscheinlichkeitsvateilung, während Q a Modell oda a Approximation doarstejt.

De KL-Divergenz wead aa relative Entropie gnennd, wobei da Begriff relative Entropie teiweis aa fia de Transinformation vawend wead.

Formal losst se de KL-Divergenz fia de Woascheinlichkeitsfunktionen P und Q diskreta Werte foigandamoßn bestimma:

D(P\|Q) = KL(P, Q)= \sum_{x \in X} P(x) \log_2 {P(x) \over Q(x)}

Beleg[VE | Weakln]

  • S. Kullback, R. A. Leibler: On information and sufficiency. In: Annals of Mathematical Statistics. 22, Nr. 1, März 1951, S. 79–86.
  • S. Kullback, John Wiley & Sons (Hrsg.): Information theory and statistics. 1959.
  • Springer Online Reference Works. eom.springer.de. Obgruafa am 31. März 2008. (englisch)