Transinformation

Transinformation oda gegnseitige Information is a Gräß aus da Informationstheorie, wo de Stärkn vom statistischen Zammahang vo zwoa Zuafoisgrässn ogibt. De Transinformation wead aa ois Synentropie bezeichnet. Im Gegnsotz zur Synentropie vo oana Markov-Quejn 1. Ordnung, de wo de Redundanz vo oana Quejn zum Ausdruck bringt und somit minimal sein soi, stejt de Synentropie vo am Kanal den mittlan Informationsghoid doar, dea wo vom Senda zum Empfänga glangt und soi somit maximal sein.

De Transinformation stähd in am engen Zammahang zua Entropie und zua bedingtn Entropie. So wead de Transinformation $I(X;Y)$ berechnet:

Definition iwa de Differenz vo Quej-Entropie und Äquivokation bzw. Empfangs-Entropie und Fejinformation:

$I(X;Y)=H(X)-H(X\vert Y)=H(Y)-H(Y\vert X).$

Definition iwa Woarscheinlichkeiten:

$I(X;Y)=\sum _{x}{}\sum _{y}{}p(x,y)\cdot \log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right).$

Definition iwa de Kullback-Leibler-Divergenz:

$I(X;Y)=D(p(x,y)\|p(x)p(y)).$

Definition iwa an Erwortungsweat:

$I(X;Y)=E\left\{\log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right)\right\}.$

Verschwind de Transinformation, so red ma vo statistischa Unobhängigkeit vo de boadn Zuafoisgrässn. De Transinformation wead maximal, wenn si a Zufoisgräss voikommen aus da andan berechna losst.

Im Netz

• Peter E. Latham, Yasser Roudi: „Mutual information“ in Scholarpedia (englisch, inkl. Literatuaogobm)