Elkarrekiko informazio

Elkarrekiko informazioa bi zorizko aldagaik partekatzen duten informazio kantitatearen neurria da informazio teorian. Beste modu batera esanda, zorizko aldagai bat aztertuz beste aldagaiari buruz lortzen den informazio kantitatea da. Bi aldagaien arteko mendekotasuna neurtzen du. Horrek guztiak entropiaren kontzeptua du oinarrian.

Entropien eta elkarrekiko informazioaren arteko harremana erakusten duen Venn diagrama

Definizioa

Formalki, $X$ eta $Y$ zorizko aldagai diskretuen elkarrekiko informazioa horrela defini daiteke:

$\operatorname {I} (X,Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}},$

non $p(x,y)$ $X$ eta $Y$ aldagaien baterako probabilitate funtzioa den eta $p(x)$ eta $p(y)$ $X$ eta $Y$ aldagaien bazterreko probabilitateen (marjinalen) funtzioak, hurrenez hurren. Aldagaiak jarraiak badira, batukaria integral mugatu batez ordezkatzen da:

$\operatorname {I} (X,Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}}\;dx\,dy,$

non $p(x,y)$ $X$ eta $Y$ aldagaien baterako dentsitate funtzioa den eta $p(x)$ eta $p(y)$ $X$ eta $Y$ aldagaien bazterreko dentsitate funtzioak (marjinalak), hurrenez hurren.

Logaritmo funtzioa 2 oinarrian erabiltzen bada, elkarrekiko informazioa bitetan neurtuko da.

Kontzeptu intuitiboa

Intuitiboki, $\operatorname {I} (X,Y)$ elkarrekiko informazioak $X$ eta $Y$ aldagaiek partekatzen duten informazioa neurtzen du; zehazki, aldagai bati buruzko informazioa izateak beste aldagaiaren ziurgabetasuna (entropia) zenbat txikitzen duen neurtzen du.

Aldagaiak independenteak badira, bat ezagutzeak ez du besteari buruzko informaziorik emango eta ondorioz, haien arteko elkarrekiko informazioa zero da. Beste muturrean, bi aldagaiak berdinak badira, informazio guztia partekatzen dute eta beraz, bata ezagutuz gero bestea ere ezaguna bihurtzen da. Hori dela eta, haien $\operatorname {I} (X,Y)$ elkarrekiko informazioa haietako baten ($X$ren edo $Y$ren) ziurgabetasuna (entropia) izango da; bi aldagaiak berdinak badira, entropia bera dute, noski.

Hortaz, elkarrekiko informazioak mendekotasuna neurtzen du zentzu honetan: $\operatorname {I} (X,Y)=0$ da baldin eta soilik baldin $X$ eta $Y$ zorizko aldagaiak independenteak badira. Izan ere, $X$ eta $Y$ independenteak direnean, $p(x,y)=p(x)\cdot p(y)$ betetzen da, eta ondorioz:

$\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.$

Propietateak

• Ez-negatibotasuna. $\operatorname {I} (X,Y)\geq 0$
• Simetria. $\operatorname {I} (X,Y)=\operatorname {I} (Y,X)$

Entropiarekin duen erlazioa

Elkarrekiko informazioa horrela ere adieraz daiteke:

${\begin{aligned}\operatorname {I} (X,Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}}$

non $\mathrm {H} (X)$ eta $\mathrm {H} (Y)$ bazter-entropiak (edo entropia marjinalak) diren, $\mathrm {H} (X|Y)$ eta $\mathrm {H} (Y|X)$ baldintzazko entropiak diren eta $\mathrm {H} (X,Y)$ baterako entropia den. Venn-en diagramaren bidez ikus daiteke kontzeptu horien eta multzoen arteko bilduraren, ebakiduraren eta diferentziaren arteko parekotasuna.

Komunikazio-kanal baten testuinguruan adibidez, irteerako $Y$ seinalea sarrerako $X$ren bertsio zaratatsua dela interpretatuz gero, irudian azaltzen da kontzeptu horien interpretazioa zein izango litzatekeen.

Informazio teoriako kantitateen arteko erlazioa

$\operatorname {I} (X,Y)\geq 0$ denez, $\operatorname {I} (X,Y)=\mathrm {H} (X)-\mathrm {H} (X|Y)$ erlaziotik $\mathrm {H} (X)\geq \mathrm {H} (X|Y)$ ondorioztatzen da.

$\operatorname {I} (X,Y)$ren definiziotik abiatuz, ondoren zehazten diren urratsei jarraituz lortzen da $\operatorname {I} (X,Y)=\mathrm {H} (Y)-\mathrm {H} (Y|X)$ erlazioa:

${\begin{aligned}\operatorname {I} (X,Y)&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\\&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x,y}p(x)p(y|x)\log p(y|x)-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)-\sum _{y}\left(\sum _{x}p(x,y)\right)\log p(y)\\&{}=-\sum _{x}p(x)\mathrm {H} (Y|X=x)-\sum _{y}p(y)\log p(y)\\&{}=-\mathrm {H} (Y|X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y|X).\\\end{aligned}}$

Atalaren hasieran aipatutako gainerako identitateen frogak ere antzeko moduan egiten dira.

$\operatorname {I} (X,Y)=\mathrm {H} (Y)-\mathrm {H} (Y|X)$ erlazioa modu intuitiboan horrela interpreta daiteke: $\mathrm {H} (Y)$ entropiak $Y$ aldagaiaren ziurgabetasuna neurtzen badu, orduan $\mathrm {H} (Y|X)$ baldintzazko entropiak $X$ ezagutu ondoren oraindik $Y$ aldagaiari buruz geratzen den ziurgabetasuna neurtzen du. Hortaz, berdintzaren eskuin aldeko kenketa horrela interpreta daiteke: $X$ ezagutzeak eragindako $Y$-ren ziurgabetasunaren murrizketa. Ideia hori bat dator $\operatorname {I} (X,Y)$ elkarrekiko informazioaren esanahi intuitiboarekin: aldagai bat ezagutzeak beste aldagaiari buruz ematen duen informazioa (murrizten duen ziurgabetasuna).

Bi aldagaiak berdinak diren kasuan, $\mathrm {H} (X|X)=0$ denez, $\operatorname {I} (X,X)=\mathrm {H} (X)$ betetzen da. Hortaz, $\operatorname {I} (X,X)\geq \operatorname {I} (X,Y)$ baiezta daiteke, hau da, aldagai batek bere buruari buruz ematen duen informazioa gutxienez beste edozein aldagaik ematen duena adinakoa da.

Aldakuntzak

Baldintzazko elkarrekiko informazioa

Batzuetan beharrezkoa gertatzen da bi zorizko aldagairen elkarrekiko informazioa kalkulatzea, hirugarren aldagai baten baldintzapean.

${\begin{aligned}&{}\operatorname {I} (X,Y|Z)=\mathbb {E} _{Z}{\big (}\operatorname {I} (X,Y)|Z{\big )}=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},\end{aligned}}$

Sinplifikatuz, zera lortzen da:

${\begin{aligned}&{}I(X,Y|Z)=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.\end{aligned}}$

$X$, $Y$ eta $Z$ zorizko aldagai diskretuen baterako banaketak izanik, bi aldagairen arteko elkarrekiko informazioa hirugarren aldagai bati baldintzatzeak hura handitu ala txikitu dezake, baina beti beteko da:

$\operatorname {I} (X,Y|Z)\geq 0$

Elkarrekiko informazio haztatua

Elkarrekiko informazioaren formulazio tradizionalean,

$\operatorname {I} (X,Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

$(x,y)$ bikotearen bidez adierazitako gertakaria dagokion $p(x,y)$ probabilitatearen bidez haztatzen da. Horrek esan nahi du, gertakariak haien artean baliokideak direla, gertatzeko duten probabilitatean izan ezik. Baina zenbait aplikaziotan gertakari guztiek ez dute garrantzia maila bera.

Hori kontuan hartu ahal izateko, $w(x,y)$ pisuak erabiltzen dira:

$\operatorname {I} (X,Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

$w(x,y)$ funtzioa $p(x,y)$ probabilitateari biderkatuz, gertakarien probabilitate batzuek beste batzuei baino garrantzi handiagoa izatea lortzen da.

Aplikazioak

Elkarrekiko informazioa maximizatzea helburu duten aplikazio asko aurki daitezke. Funtsean mendekotasuna txikitzea da helburua, hau da, baldintzazko entropia txikitzea. Hona hemen batzuk:

• Web bilatzaileetan, esaldien eta testuinguruaren arteko elkarrekiko informazioa erabiltzen da kontzeptuak (multzo semantikoak) aurkitzeko.

• Biokimikan, ARN eta ADN sekuentziak ikertzeko eta sekuentzien arteko erlazioak aurkitzeko.

• Ikasketa automatikoan, aldagaien aukeraketarako atazan erabiltzen da, esanguratsuak diren aldagaiak edota erredundanteak direnak aurkitzeko, irudi baten ezaugarri garrantzitsuenak zein diren erabakitzeko, etab.

• Kosmologian, inguruneak galaxietan sortzen duen eragina aztertzeko.

• Medikuntzan, irudien tratamenduan.

Ikus, gainera

• Entropia (informazio-teoria)
• Baldintzazko entropia

Kanpo estekak

• Datuak: Q252973