Information mutuelle ponctuelle (PMI)

événements

X

y

information mutuelle

attente

point par point

x = pluie

y

$\operatorname{pmi}(x;y) \equiv \log\frac{p(x,y)}{p(x)p(y)} = \log\frac{p(x|y)}{p(x)} = \log\frac{p(y|x)}{p(y)}.$

X

y

X

y

X

y

X

Oui

x, y

X

y

p

X

y

X

y

p

X

p

y

X

y

X

y

X

X

y

X

 y

X

y

y

X

X

y

 X,

y

X

y

X

information mutuelle (MI).

X

y

X

Oui,

$I(X;Y) = \sum_{y \in Y} \sum_{x \in X}                   p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}                               \right) }, \,\!$

Ce que nous avons, c'est le PMI de tous les possibles

X

 et

y

 pondéré par la probabilité

p (x,

y

)

X

y

:

en moyenne

p (x, y),

X

Oui

.

 X

y