Negli ultimi 18 mesi, se hai utilizzato un sistema di Intelligenza Artificiale (IA) generativa, avrai notato che la richiesta di un numero specifico di parole spesso porta a risultati altalenanti ma mai precisi. Ma cosa sta dietro a questo fenomeno?
Cos’è l’IA Generativa?
L’IA generativa rappresenta uno dei principali tipi di intelligenza artificiale in grado di creare contenuti, che possono essere testuali, audio, video o codice. Esempi noti includono ChatGPT, Gemini e MidJourney.
Come funziona?
Il funzionamento di un’IA generativa è complesso. Quando inseriamo un input, un concetto fondamentale è il “token”. Un token è l’unità più piccola in cui il testo può essere suddiviso. La gestione specifica dei token varia tra i modelli.
I token sono essenziali poiché fungono da ponte tra il linguaggio umano e quello macchina. Senza di essi, la comunicazione con l’IA sarebbe impossibile senza conoscere il linguaggio macchina. Inoltre, i token hanno un ruolo predittivo, aiutando l’IA a prevedere il prossimo token e migliorare la velocità e l’accuratezza delle risposte.
Le strategie di tokenizzazione più comuni includono l’approccio basato sullo spazio, basato sul dizionario, basato sui byte, divisione delle parole e l’approccio statistico.
Limiti dei modelli
I modelli devono gestire un limite di token utilizzabili, distribuendo la capacità computazionale tra gli utenti. Ciascun modello ha un numero diverso di token supportati, influenzato dal modo in cui gestisce tali unità. Comprendere come dialogare con l’IA senza incappare in limitazioni è cruciale per mantenere la qualità dell’output desiderato.
