Lankide:Oiertzu/Proba orria

Definizioa

Probabilitate bati dagokion informazio kantitatea erakusten duen grafikoa

$x$ eta $p\left(x\right)$ gertakari baten emaitza posiblea eta emaitza hori ateratzeko probabilitatea emanik, hurrenez hurren, emaitza horren informazio kantitatea honela definitzen da:

$I\left(x\right)=-\log p{\left(x\right)}=\log {\dfrac {1}{p\left(x\right)}}$

Funtzioak erakusten du $x$ gertakariak probabilitate baxua badu, informazio ekarpena altua dela eta probabilitate altua badu, ordea, informazio gutxi ekarriko digula. Kontuan hartu behar da funtzioa $\left(0,1\right]$ tartean bakarrik dagoela definituta, $p\left(x\right)$ probabilitate bat izanik, balioa beti egongo baita 0 eta 1 artean. Gainera, $p\left(x\right)$ 0 bada, ez dauka zentzurik informazio kantitatea kalkulatzeak, aldez aurretik emaitza hori gertatzea ezinezkoa delako.

Funtzioko logaritmoaren oinarria erabilitako informazio unitatearen arabera hautatzen da. Oinarria 2 bada, unitatea shannon ala bit izango da eta oinarri hau erabiliko dugu.

Adibideak

Txanpon jaurtiketa

Sahieska erortzea ezinezkoa dela suposatuz, txanpon bat airera jaurtiz gero, aurpegia ala gurutzea (edo kurutx ala pil) ateratzeko bi emaitzen probabilitatea 0.5 da. Beraz,

$I{\left(A\right)}=-\log _{2}p{\left(A\right)}=-\log _{2}{\dfrac {1}{2}}=1$ ,

$I{\left(G\right)}=-\log _{2}p{\left(G\right)}=-\log _{2}{\dfrac {1}{2}}=1$ ,

$p(A)$ aurpegia ateratzeko probabilitatea eta $p(G)$ gurutzea ateratzekoarena izanik.

Arrantzaketa

Demagun ur putzu batean 15 atun, 13 izokin eta 2 txitxarro daudela eta bertan arrantzan ari den pertsona batek arrain bat harrapatu duela. Arrain bakoitzak duen informazio kantitatea kalkulatzen badugu,

$I{\left(A\right)}=-\log _{2}p{\left(A\right)}=-\log _{2}{\dfrac {15}{30}}=1$ ,

$I{\left(I\right)}=-\log _{2}p{\left(I\right)}=-\log _{2}{\dfrac {13}{30}}\approx 1.206$ ,

$I{\left(T\right)}=-\log _{2}p{\left(T\right)}=-\log _{2}{\dfrac {2}{30}}\approx 3.907$ ,

$A$ atuna, $I$ izokina eta $T$ txitxarroa izanik, ikus dezakegu txitxarroa arrantzatuz gero putzuaren egoerari buruzko informazio gehiago emango digula atuna arrantzatuz gero baino.