Il Concetto di Entropia

(1)

Il Concetto di Entropia

●





●





– 

– 

(2)

Teoria dell'Informazione (1)

●



Probabilità Risultati Codice binario

¼ a 00

¼ b 01

¼ c 10

¼ d 11

●



^{}





●



– 

– 



(3)

Teoria dell'Informazione (2)

●



– non

Probabilità Risultati Codice binario

½ a 0

¼ b 10

1/8 c 110

1/8 d 1110

●



– 

– 

●



– 

(4)

Teoria dell'Informazione (3)

●





– 

●





●

teoria

dell'informazione

(5)

Entropia di un esperimento finito

●





_



_



●



_



_



●



H  X =H  p

_1,

p

_2,.

.. , p

_q

=− ∑

i=1 q

p

_i

log  p

_i



●



(6)

Proprietà della funzione H (1)

●



_

– 





●







– 



(7)

Proprietà della funzione H (2)

●







e₁ e₂ e₃ 1/2

1/3 1/6

e₁

e₂

e₃ 1/2

2/3 1/2

1/3

H(1/2,1/3,1/6) H(1/2,1/2) + 1/2 * H(1/3,2/3)

– 

(8)

Caratterizzazione di H

●







●

bit



H

_C

 p

_1,

p

_2,.

.. , p

_q

=−C ∑

i=1 q

p

_i

log  p

_i



(9)

Entropia e codici

●





≥

– 

≥

– 





● 

(10)

Programmi di Compressione

●







– prendo a caso un file di m bytes dal disco fisso





– 





