Bedingte Entropie

Der Artikl is im Dialekt Obaboarisch gschrim worn.

Bedingte Entropie is in da Informationstheorie a Maß fia de „Ungewissheit“ iwan Weat vo oana Zuafoisvariablen $X$, de wo vableibt, nachdem as Ergebnis vo oana andan Zufoisvariablen $Y$ bekannt wead. De bedingte Entropie wead $H(X|Y)$ gschriem und hod oan Weat zwischen 0 und $H(X)$, vo da urspringlichn Entropie von $X$. Sie wead in da gleichn Maßeinheit wia de Entropie gmessn.

Speziej hod sie an Weat 0, wenn aus $Y$ da Weat vo $X$ funktional bestimmt weadn ko und an Wert $H(X)$, wenn $X$ und $Y$ stochastisch unabhängig san.

Definition

Wenn $X$ a diskrete Zufoisvariable und $M$ ia Weatevoarat is, d. h. $M$ is a hextns obzäibore Menge mit $P(X\in M)=1$ ($X$ soi jeds Element vo $M$ mit ned negativa Woascheinlichkeit onehma), dann is de Entropie vo $X$ duach

$H(X) := -\sum_{x\in M}P(X=x)\log_b P(X=x)$

definiad, wo fia $b$ tipischaweis de Weate 2 (Bit) oda e (Nat) fia de entsprechendn Einheitn ognumma wean.

Wenn owa $A$ a Ereignis mit $P(A)>0$ is, dann definiad ma de bedingte Entropie vo $X$ gegem $A$ duach Ersetzn vo da Woarscheinlichkeit duach de bedingte Woarscheinlichkeit, d. h.

$H(X|A) := -\sum_{x\in M}P(X=x|A)\log_b P(X=x|A)$.

Etz sei $Y$ a diskrete Zufoisvariable mit Weatevoarat $L$. Dann is de bedingte Entropie vo $X$ gegem $Y$ definiad ois gewichtetes Mittl der bedingten Entropien von $X$ gegeben den Ereignissen $Y=y$ für $y\in L$, d. h.

$H(X|Y) := \sum_{y\in L:P(Y=y)>0}P(Y=y)H(X|Y=y)$.

Auf hehara Abstraktionsebene handeltsa si bei $H(X)$ um an Erwortungswert vo da Informationsfunktion $I_X(x) := \log_b P(X=x|A)$ und bei $H(X|Y)$ um de bedingte Erwortung vo da Informationsfunktion $I_X$ in Bezug af de vo $Y$ afgspanntn $\sigma$-Algebra.