Come funziona ChatGPT: AI generativa e Large Language Models

Come si crea l’AI più utilizzata al mondo

di Luca Pinna, AI Engineer di Intesa, a Kyndryl Company

Negli ultimi mesi non si parla altro di AI generativa in grado di generare contenuti come immagini, audio e testo. Nel caso di generazione di testo, i sistemi generativi di ultima generazione sono alimentati dai “large language models”. Ma cosa sono? Ce ne parla Luca Pinna in questo articolo.

In questo articolo scoprirai:

Novembre 2022: OpenAI rilascia ChatGPT. Incuriosite, moltissime persone intorno al mondo iniziano a provare l’“AI che scrive al posto tuo”. In soli 5 giorni ChatGPT raggiunge il milione di utenti, diventando il più diffuso e conosciuto sistema di Artificial Intelligence generativa basata su large language models, tecnologie che segneranno il futuro. Ma cosa sono? E come funziona Chat GPT?

Il principale obiettivo dell’AI generativa è, appunto, generare contenuti come immagini, audio e testo. Nel caso di generazione di testo, i sistemi generativi di ultima generazione sono alimentati dai “large language models” (LLMs), modelli addestrati su trilioni di parole in grado di comprendere, apprendere e generare testi quasi indistinguibili da quelli prodotti dagli esseri umani, in diverse lingue.

Come funziona ChatGPT

ChatGPT è stato messo a punto a partire da GPT-3.5, un’AI generativa che conta 175 miliardi di parametri. GPT 3.5 è stato addestrato su un vasto corpus di testi (si stimano 45 TB) per comprendere e generare testo in modo coerente. Per rendere l’output di ChatGPT ancora più realistico, è stato poi applicato il Reinforcement Learning with Human Feedback (RLHF), una tecnica in cui il modello impara autonomamente dai feedback dati da utenti reali. In una prima fase, incentrata sul perfezionamento del linguaggio, veniva richiesto agli utenti di scrivere la risposta che si aspettavano dal modello. Nella seconda fase, invece, era l’AI stessa a fornire delle risposte e agli utenti veniva solo richiesto di scegliere la più adeguata tra due opzioni. ChatGPT è il risultato diretto di un processo di progettazione mirato a massimizzare la coerenza tra le sue risposte e il vasto dataset utilizzato per l’addestramento del modello.

Ambiti di applicazione

L’abilità di comprendere e generare testo naturale su una vasta gamma di argomenti apre le porte allo sviluppo di applicazioni innovative, garantendo performance difficili da immaginare fino a poco tempo fa:

• Chatbot personalizzati in grado di comprendere e rispondere a input in linguaggio naturale utilizzabili per il servizio clienti, le vendite o qualsiasi altro tipo di comunicazione personalizzata.
• Generazione di testo: generare testo coerente e naturale, tra cui descrizioni o titoli.
• Riassumere lunghi brani di testo in versioni più brevi, rendendo più facile digerire rapidamente grandi quantità di informazioni.
• Classificazione del testo: classificare il testo in categorie, come spam o non spam, o sentiment positivo o negativo. Questo può essere utile per compiti come il filtraggio di e-mail o la moderazione di discussioni online.
• Traduzione automatica: questi modelli possono essere utilizzati per costruire sistemi in grado di tradurre il testo da una lingua all’altra, per costruire chatbot multilingue o per fornire traduzioni di contenuti di siti web.

Intesa e i modelli generativi

In Intesa, a Kyndryl Company al momento sono in fase di sperimentazione alcune applicazioni dell’AI generativa che siano accessorie alla digitalizzazione dei processi. Potrebbe essere per esempio possibile creare un chatbot addestrato a rispondere a domande sulla documentazione interna – dopo una fase di training specifico – per ottenere informazioni derivanti da documenti di diversi formati o per eseguire interrogazioni di database (query) in linguaggio naturale, consentendo anche a persone senza conoscenze tecniche di interrogare i dati. Inoltre, in Intesa stiamo lavorando alla possibilità di ottenere riassunti personalizzati a partire da lunghi documenti, trascrizioni di video o siti web, consentendo di specificare la lunghezza, lo stile da adottare e i punti su cui focalizzarsi. Altre applicazioni sono rese possibili dagli agenti, ovvero componenti che hanno accesso a una serie di strumenti (ad esempio Google Search, Database lookup, Python REPL) e possono decidere quale strumento utilizzare in base agli input dell’utente. ChatGPT, per esempio, ha accesso solo ad informazioni precedenti a settembre 2021, ma con l’utilizzo degli agenti è possibile sviluppare applicazioni che interroghino siti web per ottenere informazioni in tempo reale in base alle esigenze dell’utente.

Chat GPT e la privacy

Poco dopo il suo rilascio, in Italia ChatGPT è stato bloccato dal garante della privacy perché non garantiva il rispetto del GDPR. È ancora così? Le applicazioni costruite sulla base di questi modelli risultano sicure e in continuo aggiornamento. OpenAI oggi garantisce il pieno rispetto della privacy quando si utilizzano i modelli attraverso l’API, mentre i dati inviati dagli utenti a ChatGPT potrebbero essere utilizzati per l’addestramento di modelli futuri.