Lankide:Sophyelord/Proba orria

Jatorria

Informazioa sortzen duen entitate batek, informazioa jasotzen duen beste entitate bati informazioa transmititzen diola esaten da baldin eta bigarren honek ez bazekien informazio hau aldez aurretik.

Etorkizuneko gertaera baten emaitza jakina bada aldez aurretik ziurtasun osoz, hau da 1eko probabilitatearekin, gertaera hau behatzeak ez digu inongo infornaziorik emango. Mezu batek informazioa emango dio hartzaileari baldin eta hartzaileak ez daki ziurtasun osoz honen edukia, 1 baino probabilitate txikiagoarekin daki edukia.

Gertaera bat behatzeak behatzaileari ematen dion informazioa, gertaera horren emaitzak duen probabilitatearen araberakoa da:

$\operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))$

non $\operatorname {I} (\omega _{n})$ , $\omega _{n}$ emaitzak ematen duen informazio kantitatea da, eta </math>f(\operatorname P(\omega_n)) </math>, $\omega _{n}$ emaitzaren probabilitatearen $f$ funtzio bat da.

$f$ funtzioa definitzeke dago, badakigu gutxienez

$\operatorname {P} (\omega _{n})=1$ denean $\operatorname {I} (\omega _{n})=0$

izango dela, jakina den emaitza batek ez baitu informaziorik transmititzen. Ziurtasun osoz jakina ez den emaitza batek neurriren bateko informaioa transmitituko du, beraz

$\operatorname {P} (\omega _{n})<1$ denean $\operatorname {I} (\omega _{n})>0$

da.

Gainera, definizioz, informazio kantitatea ezin daiteke negatiboa izan eta batukorra behar du. Demagun mezu batek $C$ gertakariaren buruz jakinarazten digula, eta $C$ gertakaria ,$A$ eta $B$ bi gertakari independenteren ebakidura dela. Orduan lehen mezu honek ematen digun informazioa beste bi mezuk, bakoitzak $A$ edo $B$ gertaerari buruz jakinarazten duelarik, batera ematen duten informazioa berdina izango da

$\operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)$

$A$ eta $B$ gertaerak independenteak direnez

$\operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)$

Propietate hau kontutan izanik, $f$ funtzioari buruz beste zerbait jakin dezakegu

${\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)=\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}$

Beraz $f$ funtzioak hurrengo propietatea dauka

$f(x\cdot y)=f(x)+f(y)$

Propietate hau duten funtzioen familia funtzio logaritmikoak dira, edozein oinarritan.

Oinarri ezberdinetako logaritmoen arteko desberdintasun bakarra faktore lineal bat besterik ez da. Orokorrean:

$\log _{b}x={\frac {\log _{k}x}{\log _{k}b}}$

Aukera posibleak murrizteko asmotan finkatu dezagun oinarri bat, adibidez $2$ oinarria. Beraz $f$ funtzioak honako itxura hau izango du

$f(x)=K\log _{2}(x)$

Gertaeren probabilitateak 0 eta 1 balioen artean daudenez eta $\log(x)$ funtzioa negatiboa denez tarte horretan, $K<0$ izan beharko da $f(x)=K\log(x)$ tarte horretan positiboa izatea nahi baldin badugu.

$K$-ren edozein balio negatibo zuzena izango litzateke informazio kantitatea definitzeko. $K$-ren balio absolutuaren arabera funtzioak azkarrago edo geldoago dibergituko du argumentua (probabilitatea) 0ra hurbiltzen den ahala. $K$-ren balioa aldatzea, $K$ mantentzea eta logaritmoaren oinarria aldatzearen baliokidea da. Ohikoena $K=-1$ hartzea izaten da. Azkenik

$\operatorname {I} (\omega _{n})=-\log _{2}(\operatorname {P} (\omega _{n}))$

Interesgarria liteke adierazpen algebraikoaren beste interpretazio bat aztertzea:

$-\log _{2}(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)$

Gertakariaren probabilitatea logaritmoaren argumentuaren zatitzailean denez, probabilitate altuagoak informazio kantitate txikiagoak eragingo dituzte, hau bat dator ezarritako definizioarekin.

$K$ balio ezberdinei dagokienez, $K=-1$ finkatuta logaritmoaren oinarria 2 denean (ohikoena), unitateari bit deritzo, $e$ denean (logaritmo nepertarra) nat eta 10 denean informazio unitateari hartley deritzo.