I token AI sono le unità base con cui i modelli di linguaggio (LLM) leggono, elaborano e generano testo. Questo articolo spiega cosa sono, come funziona la tokenizzazione, perché i token variano tra modelli diversi come GPT e Claude, come si calcolano e cosa cambia nella pratica per chi usa o sviluppa strumenti basati sull’intelligenza artificiale. Al termine trovi una sezione FAQ e suggerimenti per approfondire i concetti correlati.

Cosa sono i token AI?

I token AI sono frammenti di testo: possono corrispondere a una parola intera, una sua parte, un carattere o un segno di punteggiatura. Sono l’unità minima di elaborazione di qualsiasi LLM.

Quando scrivi un messaggio a ChatGPT, Claude o Gemini, il testo non viene letto lettera per lettera né parola per parola. Viene prima scomposto in token, ovvero pezzi di testo di dimensioni variabili, ciascuno associato a un identificativo numerico. Solo a quel punto il modello può elaborarlo.

La parola “darkness”, per esempio, può diventare due token: “dark” e “ness”. La parola “gatto” potrebbe restare un token solo, mentre “gattino” potrebbe diventarne due. Dipende dal tokenizzatore usato e dalla lingua del testo.

I token, quindi, non sono sinonimi di parole. Sono qualcosa di più granulare, e capire questa differenza è fondamentale per chiunque lavori con strumenti AI, dalla scrittura di prompt alla gestione dei costi API.

Tokenizzazione AI: come funziona?

La tokenizzazione è il processo che converte il testo grezzo in una sequenza di token numerici, prima che il modello inizi qualsiasi elaborazione. È il primo passaggio, obbligatorio, di ogni interazione con un LLM.

Il tokenizzatore è un componente separato dal modello vero e proprio. Prende il testo in ingresso, lo divide secondo regole statistiche apprese durante il training, e produce una lista di numeri interi. Ogni numero corrisponde a un token nel vocabolario del modello.

L’algoritmo più diffuso si chiama BPE (Byte Pair Encoding): parte dai singoli caratteri e, iterazione dopo iterazione, unisce le coppie più frequenti, costruendo un vocabolario ottimizzato per la lingua e il dominio del corpus di addestramento. Esistono anche varianti come WordPiece (usato da BERT) e SentencePiece (usato in molti modelli multilingue).

Il risultato è un vocabolario di decine di migliaia di token. Il modello GPT-4, per esempio, usa un vocabolario di circa 100.000 token con il tokenizzatore cl100k_base. Claude usa un tokenizzatore proprietario Anthropic, con caratteristiche diverse.

Variazioni di token tra i diversi LLM

Ogni LLM usa un tokenizzatore addestrato su corpus diversi, quindi lo stesso testo produce un numero differente di token a seconda del modello. Non esiste uno standard universale.

Questa variabilità ha conseguenze dirette su due fronti: il costo dell’API e i limiti della finestra di contesto. Se stai usando più modelli in parallelo o stai migrando da uno all’altro, non puoi assumere che il conteggio sia lo stesso.

Di seguito un confronto tra i principali LLM e i rispettivi tokenizzatori.

Modello	Provider	Tokenizzatore	Vocabolario (approx.)
GPT-4 / GPT-3.5	OpenAI	cl100k_base (tiktoken)	~100.000 token
GPT-4o	OpenAI	o200k_base (tiktoken)	~200.000 token
Claude 3.x / Claude 4.x	Anthropic	Proprietario Anthropic	non divulgato
Gemini 1.5 / 2.x	Google DeepMind	SentencePiece	non divulgato
LLaMA 3	Meta	tiktoken-like (BPE)	~128.000 token
Mistral / Mixtral	Mistral AI	SentencePiece	~32.000 token

Come si vede dalla tabella, ogni provider fa scelte proprie. Questo significa che una stessa stringa di testo italiano può costare 1.200 token su un modello e 1.500 su un altro, con impatti diretti sui costi se si lavora in produzione via API.

A cosa servono i token AI?

I token servono a due scopi principali: permettono al modello di capire e generare linguaggio naturale, e sono l’unità di misura usata dai provider per calcolare i costi di utilizzo delle API.

Sul piano tecnico, i token sono il linguaggio interno dell’LLM. Il modello non “legge” parole: ragiona su sequenze di numeri, impara le relazioni semantiche tra token, e prevede quale token è statisticamente più probabile venga dopo una certa sequenza. È un processo probabilistico, non deterministico, ed è proprio questo calcolo probabilistico che produce risposte coerenti (e a volte sorprendentemente creative, fino a determinare allucinazioni).

Sul piano commerciale, i token sono la valuta. OpenAI, Anthropic, Google e gli altri provider misurano il consumo in token in ingresso (input) e token in uscita (output). I token in uscita costano quasi sempre di più, perché la generazione richiede più compute della semplice codifica.

Per chi usa questi strumenti professionalmente, conoscere il peso in token dei propri prompt significa ottimizzare i costi, scrivere istruzioni più efficienti e gestire meglio la finestra di contesto disponibile.

Come funzionano i token negli LLM?

All’interno di un LLM, ogni token viene trasformato in un vettore numerico (embedding), e il modello impara le relazioni tra questi vettori durante il training. La generazione avviene token per token, in sequenza.

Quando il modello riceve un input, lo tokenizza, trasforma ogni token in un embedding ad alta dimensionalità, e lo passa attraverso strati di attenzione (attention layers). Questi strati calcolano quanto ogni token sia “rilevante” rispetto agli altri nel contesto, costruendo una rappresentazione delle relazioni semantiche dell’intera sequenza.

La generazione della risposta avviene in modo autoregressivo: il modello prevede un token alla volta, aggiunge quel token alla sequenza, e poi prevede il successivo. Questo ciclo continua fino al token di fine sequenza o al raggiungimento del limite massimo di token configurato.

Il parametro “temperatura” (di cui parliamo più avanti) modifica la distribuzione di probabilità su cui il modello sceglie il prossimo token. A temperatura zero, sceglie sempre il token più probabile; a temperatura alta, la scelta diventa più casuale e creativa.

Questo meccanismo spiega anche le allucinazioni: quando il modello genera token plausibili in termini statistici ma non accurati rispetto ai fatti, semplicemente perché il rapporto statistico tra i token nella sequenza lo porta in quella direzione. Non c’è un rapporto causa effetto con la realtà esterna, solo un rapporto probabilistico interno al modello.

Token AI e finestra di contesto

La finestra di contesto è il numero massimo di token che un LLM può processare in una singola interazione, considerando sia il prompt in ingresso sia la risposta generata. Superato questo limite, il modello non riesce ad accedere alle informazioni precedenti.

Ogni interazione con un LLM ha un “campo visivo” misurato in token. Se la finestra di contesto è di 128.000 token e il tuo prompt ne occupa 10.000, il modello ha a disposizione 118.000 token per la risposta. Se superi il totale, il comportamento dipende dal modello: alcuni troncano il contesto precedente, altri restituiscono un errore.

La finestra di contesto è cresciuta enormemente negli ultimi anni. Di seguito i valori aggiornati dei principali modelli.

Modello	Finestra di contesto (token)
GPT-4o	128.000
Claude Sonnet 4.x / Opus 4.x	200.000
Gemini 2.0 Flash	1.000.000
Gemini 2.5 Pro	1.000.000+
LLaMA 3.1 (70B)	128.000
Mistral Large	128.000

Per chi produce contenuti o lavora con documenti lunghi, questi numeri hanno implicazioni pratiche: un modello con 200.000 token di contesto può tenere in memoria l’equivalente di un libro intero durante una singola sessione di lavoro. Questo cambia radicalmente il modo in cui si progettano flussi di lavoro basati su LLM.

Conteggio token, come si svolge?

Il conteggio dei token avviene tramite il tokenizzatore specifico del modello. Prima di inviare un prompt via API, è possibile stimare il costo calcolando quanti token contiene il testo, usando strumenti dedicati.

OpenAI mette a disposizione la libreria Python tiktoken, che permette di contare i token di qualsiasi testo usando il tokenizzatore corretto per ogni modello. Per i modelli Anthropic, è disponibile il metodo count_tokens nell’SDK ufficiale.

Una stima rapida e approssimativa, valida per testi in inglese: 1 token equivale a circa 4 caratteri, ovvero 0,75 parole. Per l’italiano e le altre lingue romanze, la stima è meno precisa, perché la morfologia più ricca (le desinenze verbali, i femminili e plurali, le preposizioni articolate) tende a generare più token rispetto all’equivalente inglese.

Esempio concreto: la Dichiarazione di Indipendenza degli Stati Uniti, un testo di circa 1.400 parole in inglese, conta circa 1.695 token nel tokenizzatore di OpenAI. Un articolo italiano di 1.000 parole può variare tra 1.300 e 1.600 token a seconda della complessità lessicale.

Testo	Parole (approx.)	Token stimati (OpenAI)	Rapporto parole/token
Articolo SEO standard (IT)	1.000	1.300 – 1.600	~0,7
Articolo SEO standard (EN)	1.000	1.100 – 1.300	~0,8
Prompt breve	50	60 – 80	~0,7
Documento tecnico lungo	5.000	6.500 – 8.000	~0,65
Dichiarazione Indipendenza USA	~1.400	1.695	~0,83

Esempi di token nei diversi LLM

La stessa parola può essere tokenizzata in modo diverso da modelli diversi. Vedere esempi concreti aiuta a capire perché il conteggio varia e come questo impatta prompt e costi.

Prendiamo la parola “tokenizzazione”. Nel tokenizzatore di OpenAI (cl100k_base) viene divisa in: “token” + “izzazione”, ovvero 2 token. In un tokenizzatore meno ottimizzato per l’italiano, potrebbe diventare 3 o 4 token.

Alcune osservazioni pratiche:

• le parole inglesi brevi e comuni tendono a corrispondere a token singoli in quasi tutti i modelli
• le parole tecniche, i neologismi e i termini stranieri vengono quasi sempre spezzati in più sotto-token
• gli spazi, la punteggiatura e i caratteri speciali occupano token propri
• i numeri, specialmente quelli lunghi, vengono tokenizzati cifra per cifra in molti modelli

Questo significa che scrivere “ChatGPT-4o” costa più token di “GPT4”, e che usare molte virgolette o parentesi in un prompt aumenta il conteggio più di quanto sembri intuitivo.

Testo di esempio	Token GPT-4o (approx.)	Note
hello	1	parola comune inglese
tokenizzazione	2	termine tecnico italiano
intelligenza artificiale	4	due parole composte
https://esempio.com/path	6-8	URL con caratteri speciali
1234567890	4-10	cifre tokenizzate singolarmente
😊	1-3	emoji, varia per modello

Token AI e temperatura

La temperatura è un parametro che non cambia quanti token vengono generati, ma influenza quali token vengono scelti. Controlla il grado di casualità nella selezione del token successivo.

Ogni volta che il modello deve generare il prossimo token, calcola una distribuzione di probabilità su tutti i token del vocabolario. Con temperatura 0, sceglie sempre quello con la probabilità più alta, producendo output deterministici e prevedibili. Con temperatura 1 (o superiore), la distribuzione viene modificata in modo da dare più spazio ai token meno probabili, rendendo le risposte più varie e creative.

In termini pratici: per task analitici, di sintesi o di scrittura tecnica, conviene tenere la temperatura bassa (0.0 – 0.3). Per brainstorming, scrittura creativa o generazione di varianti, valori più alti (0.7 – 1.2) producono output più diversificati.

C’è però un effetto collaterale da conoscere e da imparare a gestire: a temperatura alta, aumenta anche il rischio di allucinazioni. Il rapporto probabilistico che guida la scelta del token diventa meno vincolante, e il modello può “deragliare” verso sequenze statisticamente plausibili ma fattualment errate. Capire questo meccanismo aiuta a usare i parametri degli LLM in modo consapevole, non solo per ottenere risposte più “creative”.

Temperatura	Comportamento	Uso consigliato
0.0	Deterministico, sempre il token più probabile	Sintesi, classificazione, dati strutturati
0.3 – 0.5	Bilanciato, poca variabilità	Scrittura professionale, content marketing
0.7 – 1.0	Creativo, variabile	Brainstorming, copy, narrativa
1.2 – 2.0	Caotico, alto rischio di errori	Esperimenti, generazione di varianti estreme

Token e prompt

Sapere come funzionano i token cambia il modo in cui scrivi un prompt. Non si tratta di dettagli tecnici per sviluppatori: è una competenza pratica per chiunque usi l’AI in modo professionale.

Ogni prompt che invii a un LLM ha un peso in token. Questo peso determina quanto spazio rimane per la risposta all’interno della finestra di contesto, e quanto costa la chiamata se lavori via API. Un prompt scritto male, con ridondanze, giri di parole inutili o istruzioni ripetute, consuma token senza aggiungere valore. Un prompt scritto bene dice la stessa cosa in meno token, lasciando più spazio al modello per elaborare e rispondere.

Ma c’è un aspetto ancora più rilevante. Il modello ragiona per relazioni statistiche tra token: la struttura della tua domanda influenza direttamente la distribuzione di probabilità che guida la generazione della risposta. Una query vaga produce token di risposta vaghi. Una query ben strutturata, con contesto preciso, ruolo definito e output atteso, orienta il modello verso i token statisticamente più utili per quello scopo specifico.

In pratica: capire i token significa capire che ogni parola conta, che l’ordine conta, che la ridondanza si paga in due modi, in soldi e in qualità dell’output. Il prompt engineering può quindi essere considerato scrittura consapevole della lingua che i modelli capiscono davvero.

FAQ

Quanti token ha un articolo di 1.000 parole in italiano?

Mediamente tra 1.300 e 1.600 token, a seconda della complessità del lessico. L’italiano produce più token dell’inglese per la stessa quantità di contenuto.

I token di Claude e quelli di GPT sono equivalenti?

No. Ogni modello usa un tokenizzatore diverso. Lo stesso testo può produrre conteggi diversi, con impatti su costi e finestre di contesto.

Come conto i token prima di inviare un prompt?

Per i modelli OpenAI puoi usare la libreria tiktoken. Per Claude, l’SDK Anthropic ha un metodo dedicato. Esistono anche strumenti online come il Tokenizer di OpenAI.

Cosa succede se supero la finestra di contesto?

Il comportamento dipende dal modello e dall’implementazione: alcuni troncano silenziosamente il contesto più vecchio, altri restituiscono un errore. In ogni caso, le informazioni oltre il limite non vengono elaborate.

La temperatura cambia il numero di token generati?

No. La temperatura influenza quali token vengono scelti, non quanti. Il numero di token dipende dal parametro max_tokens impostato nella chiamata API o dal punto di stop naturale del modello.