Lezione 54

Efficienza del codice di Shannon-Elias-Fano in termini di generazione del codice per stringhe di cifre. Cenni sul compressore universale LZ78.

Lezione 53

Dimostrazione dell'ottimalità del codice di Huffman. Codice di Shannon-Elias-Fano.

Lezione 52

Lemma per l'ottimalità del codice di Huffman.

Lezione 51

Codice di Shannon. Raggruppamento in stringhe di cifre per migliorare la compressione. Codici errati. Disuguaglianza di Kraft per condici univocamente decifrabili. Codice di Huffman. Definizione formale ed esempi. Riduzione a cardinalità dell'insieme delle cifre alla forma 1+k(D-1). Ottimalità del codice di Huffman.

Lezione 50

Disuguaglianza di Kraft. Codici ottimali. Stima dell'efficienza di un codice.

Lezione 49

Esercizi di ripasso. Compressione dati. Classificazione dei codici.

Lezione 48

Tasso di entropia di un processo stocastico. Suo significato in termini di compressione dei dati. Esercizio notevole sulla crescita dell'entropia per modelli banali di un sistema fisico.

Verifica scritta

Materiale verificato: tutto il programma di teoria dell'informazione, escluse le catene di Markov.

Lezione 47

Teorema ergodico per catene di Markov.

Lezione 46

Definizioni e proprietà elementari per le catene di Markov. Rappresentazione grafica. Esempi.
Letture extra interessanti: PageRank da Wikipedia.

Lezione 45

Catene di Markov.

Lezione 44

Lemma dell'equipartizione asintiotica. Teorema di Shannon-McMillan-Breiman (versione di Shannon per variabili i.i.d.). Compressione dati tramite il Teorema di SMB.

Lezione 43

Disuguaglianza di Fano, corollari ed applicazioni. Stime dall'alto della probabilità di errore.

Lezione 42

Conseguenze ed esempi della Data Processing Inequality.

Lezione 41

Spiegazione euristica dell'entropia relativa come spreco medio di bit per cifra usando un codice sbagliato. Conseguenze delle proprietà della I. Mutua informazione condizionata. Regola di composizione dell'entropia (condizionale). Regola di composizione dell'informazione reciproca (condizionale). Data Processing Inequality e suoi corollari.

Lezione 40

Mutua informazione (o informazione reciproca) e sue proprietà.

Lezione 39

Dimostrazione del teoremone. Entropia di una viariabile aleatoria. Entropia condizionale ed entropia congiunta. Regola di composizione dell'entropia. Entropia della Y funzione della X. Versione forte della disuguaglianza di Jensen. Entropia relativa o divergenza di Kullback-Leibler.

Lezione 38

Entropia condizionale. Disuguaglianza di Jensen. "Teoremone" sull'entropia condizionale e suo corollario.
Letture extra interessanti: Funzione d'utilità e sua convessità.

Lezione 37

Interpretazione dell'entropia in termini di informazione. Richiamo alla "Lezione Zero" del corso. Operazioni sulle partizioni.

Lezione 36

Reversibilità microscopica ed irreversibilità macroscopica: spiegazione in termini delle assunzioni di mescolamento del sistema hamiltoniano e di regolarità delle distribuzioni iniziali.

Entropia di Shannon.

Lezione 35

Spiegazione dell'equazione di Boltzmann per il caso del gas perfetto nell'ensemble canonico.

Lezione 34

Equivalenza degli ensembles microcanonico e canonico. Caso del gas perfetto.

Lezione 33

Convergenza in probabilità. Legge debole dei grandi numeri. Cenni di meccanica statistica. Postulato dell'eguale probabilità a priori. Ensembles microcanonico e canonico.

Lezione 32

Spazi di ripetuti eventi indipendenti identicamente distribuiti.

Lezione 31

Cenni di teoria della probabilità: nozioni elementari, disuguaglianza di Chebychev.