TEORIA DELL'INFORMAZIONE I

Virginia GIORNO TEORIA DELL'INFORMAZIONE I

0512300016
DIPARTIMENTO DI MATEMATICA
CORSO DI LAUREA
MATEMATICA
2016/2017



CFUOREATTIVITÀ
648LEZIONE
Obiettivi
OBIETTIVO PRINCIPALE DELL'INSEGNAMENTO È FORNIRE LE TECNICHE DI BASE DEL CALCOLO DELLE PROBABILITA' DA UTILIZZARE NEL CONTESTO DELLA TEORIA DELL'INFORMAZIONE

LE PRINCIPALI CONOSCENZE ACQUISITE SARANNO:
- CONOSCENZA DEGLI ARGOMENTI DI BASE DEL CALCOLO DELLE PROBABILITÀ NECESSARI
- CONOSCENZA DELLE MISURE DI INFORMAZIONE
- CONOSCENZA DI TECNICHE DI CODIFICA SORGENTE.

LE PRINCIPALI ABILITÀ (OSSIA CAPACITÀ DI APPLICARE LE CONOSCENZE ACQUISITE) SARANNO:
- UTILIZZARE METODI E TECNICHE PROBABILISTICHE NEL CONTESTO DELLA TEORIA DELL’INFORMAZIONE.
- ANALIZZARE SEMPLICI SISTEMI DI TRASMISSIONE.
- INDIVIDUARE LE PRESTAZIONI TEORICHE DI UN SEMPLICE SISTEMA DI TRASMISSIONE.
Prerequisiti
GLI ARGOMENTI TRATTATI NELL'INSEGNAMENTO RICHIEDONO CONOSCENZE DI BASE DI ALGEBRA E DI ANALISI MATEMATICA.
Contenuti
INTRODUZIONE: INTRODUZIONE ALLA TEORIA DELL'INFORMAZIONE E CENNI STORICI. OBIETTIVI DELLA TEORIA DELL'INFORMAZIONE E AREE DI INTERESSE. UN SEMPLICE SISTEMA DI COMUNICAZIONE: SORGENTE, CODIFICATORE, CANALE, DECODIFICATORE, DESTINAZIONE.
FONDAMENTI DI CALCOLO DELLE PROBABILITÀ: DEFINIZIONE DI PROBABILITÀ. APPROCCIO ASSIOMATICO. TEOREMI DELLE PROBABILITÀ COMPOSTE. TEOREMA DI BAYES. FUNZIONI MISURABILI E VARIABILI ALEATORIE. LEGGI DI PROBABILITÀ. FUNZIONI DI VARIABILI ALEATORIE. INDIPENDENZA DI EVENTI E DI VARIABILI ALEATORIE. SUCCESSIONI DI EVENTI E DI VARIABILI ALEATORIE. CONCETTI DI CONVERGENZA. LEGGE DEI GRANDI NUMERI. TEOREMA CENTRALE DI CONVERGENZA.
MISURE DI INFORMAZIONE: AUTOINFORMAZIONE, AUTOINFORMAZIONE CONGIUNTA E AUTOINFORMAZIONE CONDIZIONATA. MUTUA INFORMAZIONE. ENTROPIA DI UNA VARIABILE ALEATORIA. ENTROPIA CONGIUNTA E CONDIZIONATA. MUTUA INFORMAZIONE MEDIA. RELAZIONI TRA L'ENTROPIA E LA MUTUA INFORMAZIONE MEDIA. ENTROPIA DI VETTORI ALEATORI. ENTROPIA CONGIUNTA E CONDIZIONATA DI VETTORI ALEATORI. MUTUA INFORMAZIONE MEDIA PER VETTORI ALEATORI.
SORGENTI DISCRETE SENZA MEMORIA: SORGENTI DI INFORMAZIONE FINITE SENZA MEMORIA. CODIFICA DI MESSAGGI. CODIFICA DA BLOCCO A BLOCCO. CONDIZIONE DI UNIVOCA DECIFRABILITÀ. SEQUENZE TIPICHE E SEQUENZE ATIPICHE. PROPRIETÀ DI EQUIPARTIZIONE ASINTOTICA. TEOREMA DI CODIFICA SORGENTE DA BLOCCO A BLOCCO DI SHANNON. CODIFICA DA BLOCCO A LUNGHEZZA VARIABILE. CODICI NON SINGOLARI. CODICI UNIVOCAMENTE DECODIFICABILI. TEOREMA DI SARDINAS E PATTERSON. CODICI A CONDIZIONE PREFISSA. TEOREMA DI MCMILLAN E TEOREMA DI KRAFT. TEOREMA DI CODIFICA DA BLOCCO A LUNGHEZZA VARIABILE. ALGORITMO DI HUFFMAN.
CANALI DI COMUNICAZIONE DISCRETI: CANALI FINITI STAZIONARI SENZA MEMORIA. DEFINIZIONE DELLA CAPACITÀ DEL CANALE. CALCOLO DELLA CAPACITÀ PER CANALI FINITI STAZIONARI SENZA MEMORIA DI TIPO PARTICOLARE: SENZA RUMORE, SENZA PERDITE, DETERMINISTICO, INUTILE PER LA TRASMISSIONE, STRETTAMENTE SIMMETRICO.
CODIFICA CANALE: CODIFICA IN PRESENZA DI RUMORE SUL CANALE. CRITERIO DI DECODIFICA DELL'OSSERVATORE IDEALE. CRITERIO DI DECODIFICA CON PROBABILITÀ DI ERRORE UNIFORMEMENTE LIMITATA. TASSO DEL CODICE CANALE E TASSO DI INFORMAZIONE. DISUGUAGLIANZA DI FANO. TEOREMA DI CODIFICA CANALE DI SHANNON: PARTE INVERSA E PARTE DIRETTA.
Metodi Didattici
LEZIONI IN AULA
Verifica dell'apprendimento
IL RAGGIUNGIMENTO DEGLI OBIETTIVI È CERTIFICATO ATTRAVERSO IL SUPERAMENTO DI UN ESAME CON VALUTAZIONE IN TRENTESIMI CHE PREVEDE UNA PROVA ORALE.
TALE PROVA CONSISTE IN UN COLLOQUIO CON DOMANDE E DISCUSSIONE SUI CONTENUTI TEORICI E METODOLOGICI INDICATI NEL PROGRAMMA DI INSEGNAMENTO ED È FINALIZZATA AD ACCERTARE IL LIVELLO DI CONOSCENZA E CAPACITÀ DI COMPRENSIONE RAGGIUNTO DALLO STUDENTE, NONCHÉ A VERIFICARE LA CAPACITÀ DI ORGANIZZAZIONE AUTONOMA DELL'ESPOSIZIONE E LA CAPACITÀ DI UTILIZZO APPROPRIATO DELLA TERMINOLOGIA NELL'ESPOSIZIONE STESSA.
Testi
COVER M. C. AND THOMAS J. A. - ELEMENTS OF INFORMATION THEORY - JOHN WILEY & SONS, INC.
FABRIS F. – TEORIA DELL’INFORMAZIONE, CODOCI, CIFRARI – BORINGHIERI.
GALLAGER R. - INFORMATION THEORY AND RELIABLE COMMUNICATION - J. WILEY.
DALL’AGLIO G. - CALCOLO DELLE PROBABILITÀ – ZANICHELLI
DI CRESCENZO A., GIORNO V., NOBILE A.G., RICCIARDI L.M. – UN PRIMO CORSO IN PROBABILITÀ PER SCIENZE PURE ED APPLICATE – LIGUORI
  BETA VERSION Fonte dati ESSE3 [Ultima Sincronizzazione: 2019-03-11]