Informazio kantitate

Informazio-teorian, informazio kantitatea zorizko aldagai batek lagin batean eman dezakeen informazioa da. Formalki, probabilitate teorian edozein gertaerarako definitutako ausazko aldagaia da informazio kantitatea, ausazko aldagaia neurtua izango den ala ez kontuan hartu gabe. Informazio kantitatea informazio-unitateetan adierazten da.

Informazio-teoriaren testuinguruan, informazio kantitatearen itxaropen matematikoa entropia da, eta zera adierazten du: behatzaile batek sistema baten ausazko aldagai baten laginketatik lortzea espero dezaken batezbesteko informazio-kantitatea.[1]

DefinizioaAldatu

 
Probabilitate bati dagokion informazio kantitatea erakusten duen grafikoa

  ausazko aldagaia eta haren   probabilitate-funtzioa izanik,   aldagaiak   emaitza lortzeak ematen duen informazio kantitatea horrela definitzen da:

 

Grafikoan ikusten den bezala,   gertaeraren   probabilitatea baxua bada (0tik gertukoa), haren informazio ekarpena altua da; probabilitatea altua bada (1etik gertukoa), ordea, informazio-kantitate txikia ekarriko du.   probabilitate bat izanik,   tarteko balio bat hartuko du; 0 bada, informazio kantitatea kalkulatzeak ez dauka zentzurik, emaitza hori gertatzea ezinezkoa delako.

Logaritmo funtziorako aukeratzen den oinarriaren arabera, informazio kantitatea unitate desberdinean neurtzen da. Oinarria 2 bada, unitatea shannon ala bita da.

PropietateakAldatu

Gertaera independenteen baturaAldatu

Bi gertaera independenteen informazio kantitatea gertaeren informazio kantitateen batura da. Matematikan, propietate hori batukortasuna da. Izan bitez   eta   ausazko bi aldagai independente eta   eta   haien probabilitate-funtzioak, hurrenez hurren. Gertaerak independenteak direnez, baterako probabilitate-funtzioa honakoa da:


 


  emaitzaren informazio kantitatea honakoa da:


 

AdibideakAldatu

Txanpon jaurtiketaAldatu

Txanpon bat airera jaurtiz gero, aurpegia ala gurutzea ateratzeko probabilitatea  ekoa eta  ekoa dira, txanpona sahieska erortzea ezinezkoa dela suposatuz, noski. Beraz,

  ,

  ,

Informazio hori adierazteko bit bakar batekin nahikoa da.

ArrantzaketaAldatu

Demagun ur putzu batean 15 atun ( ), 13 izokin ( ) eta 2 txitxarro ( ) daudela eta bertan arrantzan ari den lagunak arrain bat harrapatu duela. Mota bakoitzeko arraina arrantzatzearen informazio kantitatea horrela kalkulatzen da:

  ,

  ,

  ,

Ikus daiteke informazio kantitate handieneko gertaera txitxarroa arrantzatzea dela; gertatuz gero, atuna edo izokina arrantzatzeak baino informazio gehiago emango du, putzuaren egoera nabarmenago aldatuko delako.


Entropiarekiko erlazioaAldatu

Entropia ausazko aldagai diskretu baten informazio-kantitatearen itxaropen matematikoa da. Batzuetan, entropia aldagaiaren “informazio kantitatea” dela esaten da, seguraski   betetzen delako,   izanik   aldagaiak bere buruarekin partekatzen duen elkarrekiko informazioa.

JatorriaAldatu

Informazioa sortzen duen entitate batek beste entitate bati informazioa transmititzen diola esaten da, bigarrenak informazio hori aldez aurretik ez bazuen ezagutzen. Izan ere, aldez aurretik eta ziurtasun osoz ezagutuko balu, transmititutakoaren informazio kantitatea zero izango litzateke.

Etorkizuneko gertaera baten emaitza jakina bada aldez aurretik ziurtasun osoz, hau da 1eko probabilitatearekin, gertaera hori behatzeak ez du inolako informaziorik emango. Informazioa emango du hartzaileak ziurtasun osoz mezuaren edukia ez badu ezagutzen; ezaguna bada 1 baino txikiagoa den probabilitatez.

Gertaera bat behatzeak behatzaileari ematen dion informazioa, gertaera horren emaitzak duen probabilitatearen araberakoa da:

 


non   emaitzak ematen duen informazio kantitatea   den.   funtzioa   emaitzaren probabilitatearen   funtzio bat da. Zera bete behar da:

  denean  ,

ezaguna den emaitza batek ez baitu informaziorik transmititzen. Zera ere bete behar da:

  denean  ,

ziurtasun osoz ezaguna ez den emaitza batek informazioa transmitituko duelako; handiagoa edo txikiagoa izango da, ziurgabetasun mailaren arabera.

Gainera, definizioz, informazio kantitatea batukorra da eta ez da negatiboa.   gertakaria   eta   bi gertakari independenteren ebakidura bada,   gertaerari buruzko mezuak ematen duen informazioa   eta   gertaerei buruzko mezuek batera ematen duten informazio bera da.


 


  eta   gertaerak independenteak direnez


 


Propietate hori kontutan izanik,   funtzioari buruz beste zerbait jakin dezakegu


 


Beraz   funtzioak honako propietatea du:

 

Propietate hori betetzen duten funtzioak logaritmikoak dira, edozein oinarritan. Oinarri ezberdinetako logaritmoen arteko desberdintasun bakarra faktore lineal bat da. Oinarri batetik bestera pasatzea erraza da, zera betetzen baita:

 

Oinarria finkatuz gero,   adibidez,   funtzioak honako itxura izango du:

 

Gertaeren probabilitateak 0 eta 1 balioen artean daudenez eta   funtzioa negatiboa denez tarte horretan,   izan beharko da   tarte horretan positiboa izatea nahi baldin badugu.

 -ren edozein balio negatibo zuzena izango litzateke informazio kantitatea definitzeko.  -ren balio absolutuaren arabera funtzioak azkarrago edo geldoago dibergituko du argumentua (probabilitatea) 0ra hurbiltzen den ahala.  -ren balioa aldatzea,   mantentzea eta logaritmoaren oinarria aldatzearen baliokidea da. Ohikoena   hartzea izaten da, hau da:


 


Interesgarria izan liteke adierazpen aljebraikoaren beste interpretazio hau aztertzea:


 


Gertakariaren probabilitatea logaritmoaren argumentuaren zatitzailean dagoenez, probabilitate altuagoek informazio kantitate txikiagoak eragingo dituzte eta alderantziz. Hori bat dator emandako definizioarekin.

 ren balio ezberdinei dagokienez,   finkatuz gero eta logaritmoaren oinarri moduan 2 aukeratuz (ohikoena), lortzen den informazio kantitatearen unitateari bit deritzo; oinarria   denean (logaritmo nepertarra) nat da unitatea eta oinarria 10 denean informazio unitateari hartley deritzo.

Ikus, gaineraAldatu

Informazio gehiagorakoAldatu

  • A Mathematical Theory of Communication. Claude Shannon.Bell Systems Technical Journal, Vol. 27, pp 379–423, (Part I), 1948.

ErreferentziakAldatu

  1. Jones, D.S., Elementary Information Theory, Vol., Clarendon Press, Oxford pp 11-15 1979

Kanpo estekakAldatu