Entropia (informazio-teoria): berrikuspenen arteko aldeak

Suposatu zorizko aldagai baten hasierako indeterminazio maila <math>k</math> dela (<math>k</math> egoera posible daude). Gainera, probabilitate bereko egoera guztiak suposatuko ditugu. Orduan, suposatutako konbinazio bat gertatzeko probabilitatea <math>p=1/k</math> izango da. Beraz, <math>c_i</math>adierazpena horrela idatz dezakegu:<ref group="lower-alphaoh">Ikusi daitekenez, 2 oinarria duen logaritmoa erabiltzen da informazioa kode bitarrean adieraziko dela kontsideratzen delako. Informazioa adierazteko <math>a</math> oinarria duten balioak erabiltzekotan, <math>a</math> oinarria duen logaritmoa erabiltzea egokia izango litzateke.</ref>

<math>k</math> egoera bakoitzak <math>p_i</math> probabilitatea badu, entropia informazio-kantitateen batuketa haztatua erabiliz kalkulatuko da:<ref>Cuevas Agustín, Gonzalo, "Teoría de la información, codificación y lenguajes", Ed. SEPA (Sociedad para Estudios Pedagógicos Argentinos), Serie Informática 1986</ref><ref group="lower-alphaoh">Kontuan izan kantitate adimentsionalak direla, hau da, ez dute unitaterik.