Vincenzo DEUFEMIA | ARTIFICIAL INTELLIGENCE AND LARGE LANGUAGE MODELS
Vincenzo DEUFEMIA ARTIFICIAL INTELLIGENCE AND LARGE LANGUAGE MODELS
cod. 0060100058
ARTIFICIAL INTELLIGENCE AND LARGE LANGUAGE MODELS
| 0060100058 | |
| DIPARTIMENTO DI INFORMATICA | |
| Corso di Dottorato (D.M.226/2021) | |
| INFORMATICA | |
| 2024/2025 |
| ANNO CORSO 1 | |
| ANNO ORDINAMENTO 2024 | |
| SECONDO SEMESTRE |
| SSD | CFU | ORE | ATTIVITÀ | |
|---|---|---|---|---|
| INF/01 | 3 | 18 | LEZIONE |
| Obiettivi | |
|---|---|
| L’OBIETTIVO FORMATIVO DELL’INSEGNAMENTO È QUELLO DI FORNIRE AGLI STUDENTI LE COMPETENZE TEORICHE E PRATICHE NECESSARIE PER COMPRENDERE, SVILUPPARE E APPLICARE TECNICHE DI INTELLIGENZA ARTIFICIALE UTILIZZANDO LARGE LANGUAGE MODELS (LLM). IL CORSO MIRA A COPRIRE I CONCETTI DI BASE E AVANZATI RELATIVI AGLI LLM, DALLA COMPRENSIONE DELL’ARCHITETTURA E DELLE TECNICHE DI ADDESTRAMENTO FINO ALLE IMPLICAZIONI ETICHE E DI SICUREZZA LEGATE AL LORO UTILIZZO. CONOSCENZA E CAPACITÀ DI COMPRENSIONE (KNOWLEDGE AND UNDERSTANDING): FORNIRE AGLI STUDENTI CONOSCENZE APPROFONDITE SULLE SEGUENTI AREE CHIAVE: - FONDAMENTI DI LARGE LANGUAGE MODELS E DELLA LORO EVOLUZIONE. - ARCHITETTURE AVANZATE DEI LLM BASATE SUI TRANSFORMER E SUI MECCANISMI DI ATTENZIONE. - METODOLOGIE DI PRE-TRAINING E FINE-TUNING DEGLI LLM, CON ESEMPI CONCRETI. - LLM COME BASI DI CONOSCENZA E STRATEGIE DI PROMPT ENGINEERING PER MIGLIORARE LE CAPACITÀ DI RAGIONAMENTO. CAPACITÀ DI APPLICARE CONOSCENZA E COMPRENSIONE (APPLYING KNOWLEDGE AND UNDERSTANDING): IL CORSO MIRA A SVILUPPARE NEGLI STUDENTI LE SEGUENTI CAPACITÀ PRATICHE: - SAPER PROGETTARE, ADDESTRARE E OTTIMIZZARE LARGE LANGUAGE MODELS UTILIZZANDO LE MODERNE TECNOLOGIE DI AI. - SAPER IMPLEMENTARE E VALUTARE STRATEGIE DI PRE-TRAINING E FINE-TUNING PER APPLICAZIONI PRATICHE. - APPLICARE LLM A CASI STUDIO COMPLESSI E MULTIDISCIPLINARI. |
| Prerequisiti | |
|---|---|
| LO STUDENTE DEVE CONOSCERE I FONDAMENTI DI MACHINE LEARNING, E POSSEDERE COMPETENZE DI PROGRAMMAZIONE IN PYTHON. |
| Contenuti | |
|---|---|
| IL CORSO SI CONCENTRERÀ SUI SEGUENTI ARGOMENTI: INTRODUZIONE AI LARGE LANGUAGE MODELS (LLMS) (3 ORE DI TEORIA) - DEFINIZIONE DI LLM E INTRODUZIONE STORICA. - OVERVIEW DELLE PRINCIPALI FAMIGLIE DI LLM (AD ES. GPT, BERT, T5). MODELLI DI LINGUAGGIO E OLTRE (3 ORE DI TEORIA) - MODELLO LINGUISTICO IN SENSO STRETTO (TEORIA DELLA PROBABILITÀ, MODELLO LINGUISTICO N-GRAM) - MODELLO LINGUISTICO IN SENSO AMPIO (BERT E OLTRE) - ULTERIORI RIFLESSIONI SUI MODELLI LINGUISTICI ARCHITETTURE ALLA BASE DEGLI LLM (3 ORE DI TEORIA) - INTRODUZIONE AI TRANSFORMER - STRUTTURA E FUNZIONAMENTO: SELF-ATTENTION, MECCANISMO DI MULTI-HEAD ATTENTION - SCALABILITÀ PRE-TRAINING E FINE-TUNING DEGLI LLM (3 ORE DI TEORIA) - FASI PRINCIPALI DELL’ADDESTRAMENTO DI LLM: PRE-TRAINING E FINE-TUNING. - STRATEGIE DI PRE-TRAINING NON SUPERVISIONATO E TASK DI PRE-TRAINING (AD ES. MASKED LANGUAGE MODELING). - REINFORCEMENT LEARNING FROM HUMAN FEEDBACK (RLHF) - VALUTAZIONE LLM EFFICIENZA DEGLI LLM (3 ORE DI TEORIA) - EFFICIENZA ALL'INTERNO DEL TRANSFORMER - EFFICIENZA OLTRE IL TRANSFORMER - EFFICIENZA DOPO GLI LLM CONOSCENZA, RAGIONAMENTO E PROMPT ENGINEERING (3 ORE DI TEORIA) - LLM COME BASI DI CONOSCENZA - AGGIORNAMENTO DEI FATTI PER I LLM - PERCHÉ IL RAGIONAMENTO È SPECIALE NEGLI LLM - TECNICHE PER UN MIGLIORE RAGIONAMENTO |
| Metodi Didattici | |
|---|---|
| L’INSEGNAMENTO PREVEDE 18 ORE DI DIDATTICA FRONTALE, CON L’OBIETTIVO DI PRESENTARE I CONCETTI FONDAMENTALI DI INTELLIGENZA ARTIFICIALE E LARGE LANGUAGE MODELS (LLMS) E DI SVILUPPARE LE CAPACITÀ DEGLI STUDENTI DI PROGETTARE E IMPLEMENTARE SOLUZIONI BASATE SU LLM PER VARIE APPLICAZIONI DI NLP. GLI ARGOMENTI DEL PROGRAMMA VENGONO PRESENTATI CON L’AUSILIO DI PRESENTAZIONI POWERPOINT E CODICI DI ESEMPIO, STIMOLANDO DISCUSSIONI CRITICHE CON LA CLASSE. PER OGNI ARGOMENTO TRATTATO, VENGONO ILLUSTRATI ESEMPI CONCRETI E TASK PROGETTUALI CHE POSSONO ESSERE SVILUPPATI COME PROGETTI DI CORSO DA PARTE DI UNO O PIÙ STUDENTI. |
| Verifica dell'apprendimento | |
|---|---|
| IL RAGGIUNGIMENTO DEGLI OBIETTIVI DELL’INSEGNAMENTO È CERTIFICATO MEDIANTE IL SUPERAMENTO DI UN ESAME CON VALUTAZIONE IN TRENTESIMI. L'ESAME PREVEDE LO SVILUPPO DI UN PROGETTO PRATICO FINALIZZATO AD ACCERTARE LA CAPACITÀ DI APPLICARE LE CONOSCENZE ACQUISITE. IL PROGETTO PUÒ ESSERE SVOLTO INDIVIDUALMENTE O IN GRUPPI DI MASSIMO 2 PERSONE, SCEGLIENDO LA TEMATICA TRA UN VENTAGLIO DI PROPOSTE FATTE DAI DOCENTI. DURANTE LO SVOLGIMENTO DEL PROGETTO, GLI STUDENTI DOVRANNO INTERAGIRE CON I DOCENTI PER COMUNICARE GLI STATI DI AVANZAMENTO E LE EVENTUALI CRITICITÀ, CONCORDANDO OBIETTIVI E MODALITÀ DI PROSECUZIONE. AL TERMINE, GLI STUDENTI DOVRANNO CONSEGNARE AI DOCENTI UNA RELAZIONE SCRITTA CONTENENTE LA DOCUMENTAZIONE DEL PROGETTO, OLTRE A UNA PRESENTAZIONE POWERPOINT DELLA DURATA DI CIRCA 30 MINUTI, CHE SARÀ DISCUSSA DURANTE L'ESAME FINALE. |
| Testi | |
|---|---|
| - JURAFSKY, D., & MARTIN, J. H. "SPEECH AND LANGUAGE PROCESSING: AN INTRODUCTION TO NATURAL LANGUAGE PROCESSING, COMPUTATIONAL LINGUISTICS, AND SPEECH RECOGNITION WITH LANGUAGE MODELS." 2024. HTTPS://WEB.STANFORD.EDU/~JURAFSKY/SLP3/ - VASWANI, A., ET AL. "ATTENTION IS ALL YOU NEED." 2017. HTTP://ARXIV.ORG/ABS/1706.03762 - DEVLIN, J., ET AL. "BERT: PRE-TRAINING OF DEEP BIDIRECTIONAL TRANSFORMERS FOR LANGUAGE UNDERSTANDING." 2018. HTTP://ARXIV.ORG/ABS/1810.04805 ALTRI ARTICOLI PRESENTI SULL'ARCHIVIO ARXIV |
| Altre Informazioni | |
|---|---|
| LA FREQUENZA DEL CORSO È FORTEMENTE CONSIGLIATA. GLI STUDENTI DEVONO ESSERE PREPARATI A TRASCORRERE UNA CONGRUA QUANTITÀ DI TEMPO NELLO STUDIO AL DI FUORI DELLE LEZIONI. UNA PREPARAZIONE SODDISFACENTE RICHIEDE IN MEDIA 1 ORA DI STUDIO PER CIASCUNA ORA TRASCORSA IN AULA E CIRCA 30 ORE PER LO SVILUPPO DEL PROGETTO. IL MATERIALE DELLE LEZIONI SARÀ DISPONIBILE SULLA PIATTAFORMA E-LEARNING DIPARTIMENTALE HTTP://ELEARNING.INFORMATICA.UNISA.IT/EL-PLATFORM/ CONTATTI PROF. VINCENZO DEUFEMIA DEUFEMIA@UNISA.IT |
BETA VERSION Fonte dati ESSE3 [Ultima Sincronizzazione: 2024-11-18]
