Bedingte Entropie

Aus Wikipedia
Wexln zua: Navigation, Suach
Der Artikl is im Dialekt Obaboarisch gschrim worn.

Bedingte Entropie is in da Informationstheorie a Maß fia de „Ungewissheit“ iwan Weat vo oana Zuafoisvariablen X, de wo vableibt, nachdem as Ergebnis vo oana andan Zufoisvariablen Y bekannt wead. De bedingte Entropie wead H(X|Y) gschriem und hod oan Weat zwischen 0 und H(X), vo da urspringlichn Entropie von X. Sie wead in da gleichn Maßeinheit wia de Entropie gmessn.

Speziej hod sie an Weat 0, wenn aus Y da Weat vo X funktional bestimmt weadn ko und an Wert H(X), wenn X und Y stochastisch unabhängig san.

Definition[VE | Weakln]

Wenn X a diskrete Zufoisvariable und M ia Weatevoarat is, d. h. M is a hextns obzäibore Menge mit P(X\in M)=1 (X soi jeds Element vo M mit ned negativa Woascheinlichkeit onehma), dann is de Entropie vo X duach

H(X) := -\sum_{x\in M}P(X=x)\log_b P(X=x)

definiad, wo fia b tipischaweis de Weate 2 (Bit) oda e (Nat) fia de entsprechendn Einheitn ognumma wean.

Wenn owa A a Ereignis mit P(A)>0 is, dann definiad ma de bedingte Entropie vo X gegem A duach Ersetzn vo da Woarscheinlichkeit duach de bedingte Woarscheinlichkeit, d. h.

H(X|A) := -\sum_{x\in M}P(X=x|A)\log_b P(X=x|A).

Etz sei Y a diskrete Zufoisvariable mit Weatevoarat L. Dann is de bedingte Entropie vo X gegem Y definiad ois gewichtetes Mittl der bedingten Entropien von X gegeben den Ereignissen Y=y für y\in L, d. h.

H(X|Y) := \sum_{y\in L:P(Y=y)>0}P(Y=y)H(X|Y=y).

Auf hehara Abstraktionsebene handeltsa si bei H(X) um an Erwortungswert vo da Informationsfunktion I_X(x) := \log_b P(X=x|A) und bei H(X|Y) um de bedingte Erwortung vo da Informationsfunktion I_X in Bezug af de vo Y afgspanntn \sigma-Algebra.[1]

Beleg[VE | Weakln]

  1. Olav Kallenberg: Foundation's of Modern Probability. Springer, New York 2002, ISBN 0387953132, S. 220.