Entropia (informazio-teoria): berrikuspenen arteko aldeak

 

== Definizio formala ==

 

<math>c_i= \log_2(k)= \log_2[1/(1/k)]= \log_2(1/p) = \underbrace{\log_2(1)}_{= 0}-\log_2(p) =- \log_2(p)</math>

 

 

<math>H=-p_1 \log_2(p_1)-p_2 \log_2(p_2)-....-p_k \log_2(p_k)=- \sum_{i=1}^{k}p_i \log_2(p_i)</math>

=== Adibidea ===

Adibide bezala txanpon baten jaurtiketa hartuko dugu. Txanpona jaurtitzean aurpegia ala gurutzea lortuko dugunaren probabilitateak ezagunak dira, baina txanponak ez du zertan txanpon zintzoa izan. Hau [[Bernoulli prozesu|Bernouilli prozesu]] bat bezala irudika dezakegu.

 

Jaurtiketaren emaitzaren entropia maximizatuko da txanpon zintzoa bada, hau da, probabilitate bera badago aurpegia edo gurutzea lortzeko (P = 0,5). Egoera hau ziurgabetasun maximoko egoera da, hurrengo jaurtiketaren emaitza aurreikustea ia ezinezkoa da eta.

\\ &= -\sum_{i=1}^2 {\frac{1}{2} \cdot (-1)} = 1

\end{align}</math>

Bestetik, hartu dezagun zintzoa ez den txanpona, izan ere, aurpegia lortzeko probabilitatea p da eta gurutzea lortzekoa, ordez, q, non p≠q. Egoera honetan ziurgabetasuna txikiagoa da. Jaurtitzen den bakoitzean, txanponaren alde bat lortzearen probabilitatea bestea lortzearena baino handiagoa izango da. Ziurgabetasuna murriztean, entropia ere murrizten da. Adibidez, p=0,7 denean:

<math>\begin{align}

\Eta(X) &= - p \log_2 (p) - q \log_2 (q)

 

<math>H(X|Y)=-\sum_{y} p(y) \sum_{x} p(x|y) \log_2 p(x|y)</math>

 

== Oharrak eta erreferentziak ==

 

=== Erreferentziak ===

<references />

{{DEFAULTSORT:Entropia (informazio-teoria)}}