Lezione 45

Catene di Markov.

Lezione 44

Lemma dell'equipartizione asintiotica. Teorema di Shannon-McMillan-Breiman (versione di Shannon per variabili i.i.d.). Compressione dati tramite il Teorema di SMB.

Lezione 43

Disuguaglianza di Fano, corollari ed applicazioni. Stime dall'alto della probabilità di errore.

Lezione 42

Conseguenze ed esempi della Data Processing Inequality.

Lezione 41

Spiegazione euristica dell'entropia relativa come spreco medio di bit per cifra usando un codice sbagliato. Conseguenze delle proprietà della I. Mutua informazione condizionata. Regola di composizione dell'entropia (condizionale). Regola di composizione dell'informazione reciproca (condizionale). Data Processing Inequality e suoi corollari.

Lezione 40

Mutua informazione (o informazione reciproca) e sue proprietà.

Lezione 39

Dimostrazione del teoremone. Entropia di una viariabile aleatoria. Entropia condizionale ed entropia congiunta. Regola di composizione dell'entropia. Entropia della Y funzione della X. Versione forte della disuguaglianza di Jensen. Entropia relativa o divergenza di Kullback-Leibler.

Lezione 38

Entropia condizionale. Disuguaglianza di Jensen. "Teoremone" sull'entropia condizionale e suo corollario.
Letture extra interessanti: Funzione d'utilità e sua convessità.

Lezione 37

Interpretazione dell'entropia in termini di informazione. Richiamo alla "Lezione Zero" del corso. Operazioni sulle partizioni.

Lezione 36

Reversibilità microscopica ed irreversibilità macroscopica: spiegazione in termini delle assunzioni di mescolamento del sistema hamiltoniano e di regolarità delle distribuzioni iniziali.

Entropia di Shannon.

Lezione 35

Spiegazione dell'equazione di Boltzmann per il caso del gas perfetto nell'ensemble canonico.

Lezione 34

Equivalenza degli ensembles microcanonico e canonico. Caso del gas perfetto.

Lezione 33

Convergenza in probabilità. Legge debole dei grandi numeri. Cenni di meccanica statistica. Postulato dell'eguale probabilità a priori. Ensembles microcanonico e canonico.