Zum Inhalt springen

Bedingte Entropie

Aus Wikipedia
Der Artikl is im Dialekt Obaboarisch gschriem worn.

Bedingte Entropie is in da Informationstheorie a Maß fia de „Ungewissheit“ iwan Weat vo oana Zuafoisvariablen , de wo vableibt, nachdem as Ergebnis vo oana andan Zufoisvariablen bekannt wead. De bedingte Entropie wead gschriem und hod oan Weat zwischen 0 und , vo da urspringlichn Entropie von . Sie wead in da gleichn Maßeinheit wia de Entropie gmessn.

Speziej hod sie an Weat 0, wenn aus da Weat vo funktional bestimmt weadn ko und an Wert , wenn und stochastisch unabhängig san.

Wenn a diskrete Zufoisvariable und ia Weatevoarat is, d. h. is a hextns obzejbore Menge mit ( soi jeds Element vo mit ned negativa Woascheinlichkeit onehma), dann is de Entropie vo duach

definiad, wo fia tipischaweis de Weate 2 (Bit) oda e (Nat) fia de entsprechendn Einheitn ognumma wean.

Wenn owa a Ereignis mit is, dann definiad ma de bedingte Entropie vo gegem duach Ersetzn vo da Woarscheinlichkeit duach de bedingte Woarscheinlichkeit, d. h.

.

Etz sei a diskrete Zufoisvariable mit Weatevoarat . Dann is de bedingte Entropie vo gegem definiad ois gewichtetes Mittl der bedingten Entropien von gegeben den Ereignissen für , d. h.

.

Auf hehara Abstraktionsebene handeltsa si bei um an Erwortungswert vo da Informationsfunktion und bei um de bedingte Erwortung vo da Informationsfunktion in Bezug af de vo afgspanntn -Algebra.[1]

  1. Olav Kallenberg: Foundation's of Modern Probability. Springer, New York 2002, ISBN 0387953132, S. 220.