Quelle est la différence entre l'information mutuelle et l'information mutuelle Pointwise?


Réponse 1:

Information mutuelle ponctuelle (PMI)

événements

X

y

information mutuelle

attente

point par point

x = pluie

y

pmi(x;y)logp(x,y)p(x)p(y)=logp(xy)p(x)=logp(yx)p(y). \operatorname{pmi}(x;y) \equiv \log\frac{p(x,y)}{p(x)p(y)} = \log\frac{p(x|y)}{p(x)} = \log\frac{p(y|x)}{p(y)}.

X

y

X

y

X

y

X

Oui

x, y

X

y

p

X

y

X

y

p

X

p

y

X

y

X

y

X

X

y

X

 y

X

y

y

X

X

y

 X,

y

X

y

X

information mutuelle (MI).

X

y

X

Oui,

 I(X;Y)=yYxX                  p(x,y)log(p(x,y)p(x)p(y)                              ), ⁣  I(X;Y) = \sum_{y \in Y} \sum_{x \in X}                   p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}                               \right) }, \,\!

Ce que nous avons, c'est le PMI de tous les possibles

X

 et

y

 pondéré par la probabilité

p (x,

y

)

X

y

:

en moyenne

p (x, y),

X

Oui

.

 X

y