|
Docente
|
CLEMENTI ANDREA
(programma)
PROGRAMMA
1. Introduzione alla Teoria dei Codici e dell'Informazione.
a. Obiettivi generali
b. Il ruolo della Probabilità
c. Modelli Matematici per l'Informazione e la Trasmissione
d. Modelli di Canale con Errori
e. Codici per la Trasmissione su Canali; Rate di Trasmissione
f. Esempi di Codici Correttori: Repetition Codes e Block Codes.
g. Discussione informale dei risultati di Shannon
Rif. Bibliografico: Capitolo 1 di [1]
2. I concetti fondamentali della Teoria dell'Informazione.
a. Richiami di Probabilità Discreta
b. Inferenza Statistica: Il Likelihood
c. Definizioni di Entropia e di Contenuto Informativo (di Shannon) di una Sorgente di Informazione.
d. Proprietà utili della funzione Entropia
Rif. Bibliografico: Capitolo 3 di [1]
3. La Compressione Dati
a. Variabili Aleatorie particolari: Le Sorgenti di Informazioni
b. Entropia di una Sorgente
c. Significato dell'Entropia di una Sorgente
d. Esempi di Sorgenti e valutazione dell'Entropia
e. Entropia di una Sorgente e Compressione del suo Outcome
f. Compressione con Errore e senza
g. Compressione di Sequenze di simboli di una Sorgente
h. Sequenze Tipiche
i. Il I° Teorema di Shannon
Teorema di Shannon
j. Dimostrazione del I° Teorema di Shannon
Rif. Bibliografico: Capitolo 4 di [1]
4. Codifica Binaria a Lunghezza Variabile (L.V.) senza Errori
a. Codifica Univoca, Codici Prefissi
b. Il I° Teorema di Shannon per la codifica a L.V.
c. Esempi di Codici Binari a L.V.
d. Codifica a L.V. Ottimale ed i codici di Huffman
Rif. Bibliografici: Capitolo 5 di [1].
5. Codifica e Decodifica per Canali di Trasmissione con Errori
a. Il Modello di Canale attraverso spazi probabilistici congiunti.
b. Random Variables (R.V.) Dipendenti
c. Entropia Congiunta, Condizionata, Marginale di R.V.
d. Il Concetto di Mutua Informazione I(X,Y)
e. La Comunicazione su un Canale con Errori
f. Inferenza dell'Input conoscendo l'Output
g. Capacità di un Canale
h. Il II° Teorema di Shannon sui Canali con Errore
i. Descrizione informale della Dimostrazione
j. Sequenze Congiuntamente Tipiche
k. Dimostrazione formale (alcune parti)
Rif. Bibliografici: Cap. 9 e 10 di [1]
6. Canali e Codici Binari
a. Correzione di Errori e Distanza di Hamming
b. Codici Buoni e Cattivi
c. Codici Perfetti
d. Codici di Hamming
e. Non esistenza di Codici Perfetti utili
f. Codici Lineari Random
g. Codici Lineari Efficienti per il Canale Binario Simmetrico
Riferimenti Bibliografici:
David J.C. MacKay. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, Version 7.2 (2005).
 David J.C. MacKay. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, Version 7.2 (2005).
|
