Baldintzazko entropia

Informazioaren teorian baldintzazko entropiak zera neurtzen du: zorizko aldagaiaren balioa ezaguna izanik, zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.

Definizioa

aldatu

  zorizko aldagai diskretuak   balioa hartzearen baldintzapean   zorizko aldagai diskretuaren entropia   notazioaz adierazten da.

  aldagaiaren probabilitate-funtzioa   izanik, haren entropia (ez baldintzazkoa) horrela definitzen da:  , hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:

 

  izanik   aldagaiak   balioa hartzeak ematen duen informazio kantitatea.

Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke   zorizko aldagai diskretuak   balioa hartzearen baldintzapean   zorizko aldagai diskretuak duen entropia:

 

  aldagaiaren   balio posible guztietarako   balioen batez besteko haztatua kalkulatuz lortzen da   baldintzazko entropia.

 

Konbenioa:   eta   espresioen emaitza zero dela onartzen da,   izanik.

Propietateak

aldatu
  • Oro har,   betetzen da.   eta   aldagaiak elkarrekiko independenteak badira,   betetzen da.
  •   eta   aldagaiak elkarren mendekoak badira,   betetzen da, hau da, baldintzazko entropia zero izango da,   aldagaiaren balioa ezagutzearen ondorioz   aldagaia erabat zehaztuta geratzen bada.
  • Aurreko propietatetik ondoriozta daiteke   betetzen dela.
  • Bayesen teoremaren arabera, zera betetzen da:  
  •   betetzen da,   izanik   eta   aldagaien elkarrekiko informazioa.

Ikus, gainera

aldatu

Kanpo estekak

aldatu