|
== Definizio formala ==
Demagun [[zorizko aldagai]] baten hasierako indeterminazio maila <math>k</math> dela (<math>k</math> egoera posible dituela, alegia). Demagun, gainera, egoera guztiak probabilitate berekoak direla. Hori hala izanik, konbinazio jakin bat gertatzeko probabilitatea <math>p=1/k</math> izango da. Beraz, honakoa idatz daiteke:<ref group="oh">Ikusi daitekeenez, 2 oinarria duen logaritmoa erabiltzen da informazioa kode bitarrean adieraziko dela kontsideratzen delako. Informazioa adierazteko <math>a</math> oinarria duten balioak erabiltzekotan, <math>a</math> oinarria duen logaritmoa erabiltzea egokia izango litzateke.</ref>
<math>\log_2(k)= \log_2[1/(1/k)]= \log_2(1/p) = \underbrace{\log_2(1)}_{= 0}-\log_2(p) =- \log_2(p)</math>
Egoera guztiak probabilitate berekoak ez badira, hau da, <math>i.</math> egoera <math>p_i</math> probabilitatez gertatzen bada, informazio-kantitateen batuketa haztatuaren bidez kalkulatuko da entropia:<ref>Cuevas Agustín, Gonzalo, "Teoría de la información, codificación y lenguajes", Ed. SEPA (Sociedad para Estudios Pedagógicos Argentinos), Serie Informática 1986</ref><ref group="oh">Kontuan izan kantitateunitaterik adimentsionalakgabeko kantitateak direla, hau da, ez dute unitaterik.<br /></ref>
<math>H=-p_1 \log_2(p_1)-p_2 \log_2(p_2)-....-p_k \log_2(p_k)=- \sum_{i=1}^{k}p_i \log_2(p_i)</math>
=== Adibidea ===
Har dezagun txanpon baten jaurtiketaren adibidea. Txanpona jaurtitzean aurpegia ala gurutzea lortzen dira; txanpona zintzoa bada, bi egoerek probabilitate bera dute. Demaguneta txanponaberaz, ezjaurtiketaren delaemaitzaren zintzoaentropia maximoa da. KasuZiurgabetasun maximoko egoera horretanda, [[Bernoullihurrengo prozesu|Bernoullijaurtiketaren prozesu]]emaitza batenaurreikustea moduania ikusezinezkoa daitekedelako.
[[Fitxategi:Binary entropy plot.svg|thumb|Xren entropia [[Bernoulli saiakuntza|Bernoulli-ren saiakuntzan]]. (Xak 0 edo 1 balioak har ditzakeen ausazko saiakuntza). Entropia P(X=1) probabilitatearen araberakoa da. P(X=1)=0,5 denean, emaitza guztiek probabilitate bera dute, beraz, ziurgabetasun-maila altua da eta entropia maximoa.]]
Jaurtiketaren emaitzaren entropia maximizatuko da txanpon zintzoa bada, hau da, probabilitate bera badago aurpegia edo gurutzea lortzeko (P = 0,5). Egoera hau ziurgabetasun maximoko egoera da, hurrengo jaurtiketaren emaitza aurreikustea ia ezinezkoa da eta.
<math>\begin{align}
\Eta(X) &= -\sum_{i=1}^n {\mathrm{Pp}(x_i) \log_blog_2 \mathrm{Pp}(x_i)}
\\ &= -\sum_{i=1}^2 {\frac{1}{2}\log_2{\frac{1}{2}}}
\\ &= -\sum_{i=1}^2 {\frac{1}{2} \cdot (-1)} = 1
\end{align}</math>
Bestetik,Baina hartu dezagun zintzoatxanpona ez denbada txanponazintzoa, izanhau ereda, aurpegia lortzeko probabilitatea (p da) eta gurutzea lortzekoa, ordez(q) desberdinak badira, q(p≠q), nonorduan p≠q[[Bernoulli prozesu|Bernoulli-ren prozesu]] baten bidez eredutu ahal izango dugu. EgoeraKasu honetanhorretan, ziurgabetasuna txikiagoa da., Jaurtitzentxanpona jaurtitzen den bakoitzean,aldiero txanponaren alde bat lortzearen probabilitatea bestea lortzearena baino handiagoa izango dadelako. Ziurgabetasuna murriztean, entropia ere murrizten da. Adibidez, p=0,7 denean:
<math>\begin{align}
=== Elkarrekiko informazioa ===
Entropia [[Elkarrekiko informazio|elkarrekiko informazioaren]] kasu berezi bat bezala uler daiteke. Zorizko bi balioenaldagairen [[Elkarrekiko informazio|elkarrekiko informazioa]], I(X, Y) bezalanotazioaz adierazia,adierazten da eta bi aldagaien elkarrekiko dependentziamendekotasuna neurtzen duen [[Kantitate|kantitatea]] dadu. [[Zorizko aldagai]] bat ezagutzean, demagun Y delaaldagai<ref>Dan C. Marinescu, Gabriela M. Marinescu, "Classical and Quantum Information",Academic Press 2012</ref>, baten balioa ezagutzeak X [[Aldagai (matematika)|aldagaiaren]] ziurgabetasun maila (edo '''entropia''') zenbat murrizten denduen neurtzen du informazio kantitateak. Beraz, honako hauzera ondoriozta dezakegudaiteke: X eta Y berdinak badira, orduan I(X; X) = H(X) betetzen da.
== Propietateak ==
Entropiak hurrengohonako propietateak dauzkabetetzen ditu:
# EzinEz da negatiboa izan. '''''<math>p_i</math>'''''probabilitate bat izandadenez, <math>0 < p_i \le 1</math> betekobetetzen da. Hortaz, <math>\log_2p_i \le 0</math> eta ondorioz <math>-\log_2 p_i \ge 0</math> betetzen dela ziurta daiteke.
# <math>H \le \log_a (n)</math>. Hau da, H entropiak goi -bornea daukadu (maximoa denean) eta ez du informazio-galeragalerarik suposatzen.
# Izan bedibitez {A1, …, An} emaitza posibleak eta p1, …, pn probabilitate erlatiboakprobabilitateak dituen prozesu bat. <math>H(p_1,\dots, p_n)\,</math> funtzioa maximoa da hurrengo egoera ematen bada: <math>p_1 = \dots = p_n = 1/n\,</math>. Emaitzabetetzen intuitiboadenean; daemaitza mezuarenguztiak ziurgabetasunprobabilitate maximoaberberaz daukagulakogerta aldagaiarendaitezkeenean balioematen posibleakda ekiprobableakziurgabetasunaren direneanmaila maximoa.
# Izan bedibitez {A1, …, An} emaitza posibleak eta p1, …, pn probabilitate erlatiboakprobabilitateak dituen prozesu bat. <math>H(p_1,\dots, p_n)\,</math>funtzioak 0 balioa du <math>p_i = 0</math> bada i-ren edozein baliorako klase jakin baterako izan ezik, non <math>p_j = 0</math>. Modu intuitiboan pentsa daiteke egoera batek edo gehiagok probabilitate altua dutenean entropia nabarmenki jaisten dela, jasoko den mezuari buruzko ziurgabetasun txikiagoaziurgabetasuna existitzentxikitzen delako.
== Kodetzaile optimoa ==
'''Kodetzaile optimooptimoa''' bat mezu bat kodetzeko bit kopuru minimoa erabiltzen duena da. Kodetzaile optimo batek kode laburrak erabiliko ditu maiztasunezmaiztasun handiz agertzen diren mezuak kodetzeko eta gutxitan agertzen diren mezuen kasuanmezuetarako kode luzeagoezluzeagoak baliatukoerabiliko dadira. Modu honetanHorrela, memoria gunearen errendimendua optimizatzen da eta sistema eraginkorra da, mezua adierazteko behar den bit kopuruari dagokionez.
Adibidez, [[Morse kodea]] kodetzaile optimo bat ez izan arren, printzipio honetazhorretan aprobetxatzenoinarritzen da, ingelesez maiztasun handiagoarekinhandiagoz agertzen diren hizkiei kode laburragoak esleituz.
Beste ereduadibide bat [[Huffmanen algoritmoa]] izango litzatekeda<ref>Huffman, D., "A method for the Construction of Minimum-Redundancy Codes", Proc. IRE, Vol 40 1952</ref>. Algoritmo honekhorrek informazioa trinkotzen du '''kodetzaile optimoan''' oinarrituz. Lehenik eta behin, informazioa zeharkatzen du karaktereen agerpen-maiztasuna aurkituz.kalkulatzen Maiztasuna aurkiturikdu, ondoren kodetzaile optimoa bilatzen du [[zuhaitz bitarren]] bidez. Trinkotze[[Datu-konpresio]] teknika batzuekbatzuk ezsinboloen dituzteprobabilitateak kalkulatu ordez sinbolo bakaneko-sekuentzien probabilitateak erabiltzenkalkulatzen mezua kodetzekodituzte, baizik eta sinbolo sekuentzien probabilitate bateratua;datuen ulermenkonpresio maila altuagoa lortuzlortzeko.
Kodetzaile optimo bat eratueraiki dezakegudaiteke X zorizko aldagai baten entropian oinarrituz. EntropiarenLogaritmoa bidezoinarri kodetzailebitarrean optimoerabiltzen batekinbada, mezu bat kodetzeko beharrezkobehar den '''bitenbit kopuruaren batezbestekoa''' lorlortzen dezakeguda. Horrela, oinarriShannon-ek bitarrekoanalitikoki logaritmoafrogatu erabiltzen badugu. Berazzuenez, mezu batbaten konpresioa sinboloak banaka hartuz eta informazio galerarik gabe konprimituzenbat konprima daitekeen muga maximoa lortu dezakegukalkula horreladaiteke (Shannon-ekmuga analitikoki frogatuamaximoa). UlermenKonpresioaren muga (bitetan neurtua), entropiaentropiaren bidereta mezuaren luzeraluzeraren biderkadura izango da.
<math>H(X) = -\sum_{i}p(x_i) \log_2 p(x_i) = \sum_{i}-p(x_i)\log_2p(x_i) = </math>
<math>=\sum_{i}p(x_i)[log_2(1)-\log_2(p(x_i))] = \sum_{x}p(x) \log_2(1/p(x))</math>
Beraz, <math>X</math> zorizko aldagai diskretu baten <math>x_i</math> edo sinbolo espezifiko batek ematen duen informazioa, (bitetan definiturik)neurtua, hurrengo formula bezalahorrela definitzen da:
<math>I(x_i) = \log_2{\frac{1}{p(x_i)}}=-\log_2{p(x_i)}</math>
=== Adibidea ===
Demagun mezu batek hiru egora izan ahal ditueladitzakeela. M1 egoeraren probabilitatea %50-ekoa da, M2 egoeraren probabilitatea %25-ekoa da eta M3 egoerarena %25-ekoa.
M1-erako <math>\log_2 [1/p(M_1)]=\log_2 2= 1</math> lortuko dugu.
M3-erako <math>\log_2 [1/p(M_2)]=\log_2 4= 2</math> lortuko dugu.
Beraz, kodetzaile optimoak bit bat erabiliko du M1 transmititzeko, eta aldiz bi bit beharbeharko izango ditugudira M2 eta M3 egoeretarakokodetzeko. Adibidez, M1 =kodetzeko "0" erabil dezakegu, M2 =kodetzeko 10 eta M3 =M3rako 11 erabili dezakegu mezua kodetzeko, adibidez. HitzarmenHala egingo honekinbagenu, M<sub>1</sub>M<sub>2</sub>M<sub>1</sub>M<sub>1</sub>M<sub>3</sub>M<sub>1</sub>M<sub>2</sub>M<sub>3</sub> mezua “010001101011” bezalamoduan kodetuko genuke, 12 bit erabiliz. Entropiaren balioa honakoa izango litzateke:
<math>H(X)= 1/2 \log_2(2)+1/4 \log_2(4) + 1/4 \log_2(4)=1,5</math>
Beraz,Zera ondoriozta dezakegu,daiteke: kodetzaile optimoak 1,5 bit beharbeharko izango ditueladitu Xren edozein baliorakobalio kodetzeko.
== BaldintzapekoBaldintzazko entropia == ▼: ''Ikus'' [[Baldintzazko entropia]]
HartuIzan ditzagun bi aldagai,bitez X eta Y, haien artean independenteak ez direnak,diren haubi da,aldagai; horietako bat ezagutzeak (Y , adibidez) besteari buruzko informazioa ( XXri adibidezburuzkoa) ematen digu. Informazioaren entropiari begiradagokionez, Y aldagaiaren informazioak X aldagaiaren ziurgabetasuna txikituko duela esan dezakegu. Beraz, X aldagaiaren entropia Y aldagaiaren menpe egongo deladagoela esan dezakegudaiteke: ▼▲== Baldintzapeko entropia ==
▲Hartu ditzagun bi aldagai, X eta Y, haien artean independenteak ez direnak, hau da, bat ezagutzeak (Y adibidez) besteari buruzko informazioa (X adibidez) ematen digu. Informazioaren entropiari begira, Y aldagaiaren informazioak X aldagaiaren ziurgabetasuna txikituko duela esan dezakegu. Beraz, X aldagaiaren entropia Y aldagaiaren menpe egongo dela esan dezakegu:
<math>H(X,Y)=-\sum_{x,y} p(x,y) \log_2 p(x,y)</math>
[[Bayesen teorema|Bayes-en teoremarenteorematik]] arabera: p(x,y)=p(y)p(x|y) badakigunezdela dakigu, non p(x|y) Y zeinezagututa den jakinda X egoera bat gertatzearen probabilitatea den,p(x|y) honakoden. hauHonakoa adieraz dezakegudaiteke:
<math>H(X|Y)=-\sum_{y} p(y) \sum_{x} p(x|y) \log_2 p(x|y)</math>
== Ikus, gainera ==
* [[Informazio kantitate|Informazio kantitatea]]
* [[Baldintzazko entropia]]
== Kanpoko loturak ==
| 