Finestra di contesto: cos’è, a cosa serve, come gestirla

·

·

finestra di contesto, cos'è, a cosa serve, come calcolare token

La finestra di contesto è la memoria di lavoro di un modello di intelligenza artificiale, misurata in token. Serve a determinare quante informazioni un LLM può elaborare in una singola interazione, dal prompt alla risposta generata. Capirne funzionamento, limiti e capacità permette a chi lavora con l’AI di scrivere prompt più efficaci, ridurre errori e ottimizzare i costi delle query.

Finestra di contesto, di cosa si tratta?

La finestra di contesto è la quantità massima di testo, misurata in token, che un modello di AI può considerare in un singolo scambio. Può essere definita come una memoria di lavoro temporanea.

Quando scrivi ad un LLM come Claude, ChatGPT, Gemini o Perplexity, tutto ciò che gli invii più tutto ciò che il modello ti restituisce vive all’interno di questa finestra. Se immagini il modello come una persona che legge un documento e ti risponde a voce, la finestra di contesto è lo spazio massimo di testo che quella persona può tenere davanti agli occhi contemporaneamente.

Questo spazio si misura in token, non in parole. Un token è una unità minima di testo che il modello usa per elaborare il linguaggio. In italiano, un token corrisponde indicativamente a 0,7 parole, quindi 1.000 token equivalgono grosso modo a 700 parole di testo reale, con variazioni dovute alla lingua e alla punteggiatura.

La finestra contestuale può essere definita come la variabile che decide se il tuo prompt funzionerà, se il modello ricorderà le istruzioni iniziali di una chat lunga e se potrai caricare un intero report PDF per farlo analizzare in un unico scambio.

Di cosa si compone una finestra di contesto LLM?

Una finestra di contesto LLM si compone di token di input e token di output, che insieme occupano lo spazio totale disponibile per ogni query rivolta al modello.

I token di input sono tutto ciò che invii al modello, mentre i token di output sono ciò che il modello genera come risposta. Capire questa distinzione è il primo passo per gestire bene la finestra di contesto, soprattutto quando si lavora via API e ogni token ha un costo.

La tabella riassume i tre blocchi che compongono ogni interazione con un LLM:

ComponenteCosa contieneEsempio pratico
System promptIstruzioni di base che definiscono il ruolo e i vincoli del modello“Sei un assistente SEO”
Input utenteIl tuo prompt, eventuali documenti allegati e la cronologia della conversazioneDomande, file PDF, codice
Output generatoLa risposta che il modello produce in quel turno di conversazioneArticolo, riassunto, codice

Se la somma di questi tre elementi supera la capacità massima della finestra, il modello inizia a dimenticare le parti più vecchie, di solito seguendo una logica first in, first out. È per questo che in chat molto lunghe capita che il modello perda pezzi di istruzioni date all’inizio.

Limiti e capacità delle finestre di contesto nei diversi LLM

I limiti della finestra di contesto variano moltissimo tra i diversi modelli, passando da poche migliaia di token dei primi LLM a oltre due milioni di token dei modelli di frontiera più recenti.

Per dare una misura pratica, la tabella qui sotto confronta la capacità di alcuni modelli piuttosto conosciuti, con l’equivalente approssimativo in pagine di testo. La cifra va presa come ordine di grandezza, non come valore esatto, perché dipende dalla formattazione e dalla lingua, che incidono sul numero effettivo di token.

ModelloFinestra di contestoEquivalente in pagine
GPT-3.5 (2022)4.096 tokenCirca 6 pagine
GPT-4 Turbo128.000 tokenCirca 200 pagine
Claude Sonnet 4.6200.000 tokenCirca 300 pagine
Gemini 1.5 ProOltre 1 milione di tokenCirca 1.500 pagine
Perplexity (Sonar)Fino a 200.000 tokenCirca 300 pagine

Avere una finestra contestuale più grande non significa automaticamente avere risposte migliori. Anzi, su prompt molto lunghi emerge un fenomeno noto come context rot, per cui il modello fatica a recuperare informazioni sepolte nel mezzo di un testo enorme, il cosiddetto problema dell’ago nel pagliaio.

Come funziona una finestra di contesto?

Una finestra di contesto funziona come una sorta di lavagna temporanea su cui il modello scrive, legge e cancella: ogni token nuovo entra, e quando la lavagna è piena i token più vecchi vengono rimossi.

Ogni volta che invii un prompt, il modello trasforma il testo in una sequenza di token tramite un processo di tokenizzazione. Su questi token l’AI calcola relazioni statistiche tra parole e frasi, e su questa base genera la risposta un token alla volta.

Dentro una conversazione a più passaggi, ogni nuovo messaggio viene aggiunto alla cronologia precedente e rispedito al modello per intero. È come se a ogni risposta il modello rileggesse tutto dall’inizio, perché non ha una memoria che continui tra un turno e l’altro, ma solo la memoria della finestra contestuale.

Quando la conversazione supera la capacità della finestra, entrano in gioco strategie diverse. Alcune interfacce tagliano i messaggi più vecchi, altre ne generano un riassunto automatico, altre ancora usano tecniche di RAG, ovvero Retrieval Augmented Generation, per recuperare solo le informazioni rilevanti da una base dati esterna e iniettarle nel prompt.

Il RAG è particolarmente utile quando si lavora con basi di conoscenza grandi, come l’intera documentazione di un prodotto o un archivio di articoli. Invece di caricare tutto nella finestra, un sistema di recupero seleziona solo i pezzi pertinenti alla query dell’utente e li passa al modello per generare la risposta.

Perplexity è il caso più visibile di questo approccio applicato a una AI conversazionale. A ogni query interroga il web, recupera le pagine più rilevanti e le inietta nella propria finestra di contesto insieme al prompt, generando una risposta sintetica con citazioni. È un modo per estendere virtualmente la memoria di lavoro del modello senza dover ampliare la finestra.

A cosa serve una finestra di contesto ampia per l’intelligenza artificiale?

Una finestra di contesto ampia è la quantità di informazioni che un modello di intelligenza artificiale può processare in una singola interazione. Nel content writing questo parametro cambia radicalmente il risultato finale.

Con una finestra estesa è possibile fornire all’IA il brief completo, la guida editoriale, esempi di articoli pubblicati, la keyword map e i competitor da analizzare, tutto insieme. Il modello mantiene coerenza di tono, terminologia e struttura su testi lunghi, senza perdere il filo a metà articolo.

Diventa possibile lavorare su pillar content da 3.000 parole mantenendo l’aderenza al tone of voice definito. Si possono processare interi cluster tematici per individuare sovrapposizioni editoriali, oppure caricare trascrizioni di interviste e trasformarle in articoli strutturati.

Anche la revisione migliora. Il modello confronta il pezzo con le linee guida caricate in precedenza e segnala incoerenze specifiche, non generiche.

Il limite resta la qualità dell’input. Una finestra ampia riempita male produce output mediocri. Vale la regola inversa: più contesto rilevante si fornisce, più l’output diventa calibrato sul progetto editoriale reale.

Perché è importante conoscere l’estensione di una finestra di contesto?

Conoscere l’estensione della finestra di contesto è importante perché determina cosa puoi chiedere al modello, quanto costerà la query e quanto affidabile sarà la risposta.

Se lavori con AI generativa in modo professionale, ignorare la dimensione della finestra contestuale significa esporsi a tre rischi concreti: output troncati, costi fuori controllo e allucinazioni dovute al sovraccarico del modello.

Ecco i casi d’uso in cui conoscere la finestra di contesto fa davvero la differenza:

  • analisi documentale: per riassumere un contratto di 150 pagine serve una finestra ampia, altrimenti devi spezzare il file in parti.
  • sviluppo software: per farsi aiutare a debuggare un’intera codebase serve un modello che regga decine di migliaia di token di codice.
  • chatbot di customer care: per mantenere coerenza lungo una conversazione articolata serve una finestra sufficiente a contenere tutto lo storico rilevante.
  • content marketing e SEO: per generare risposta lunghe e coerenti a partire da briefing, linee guida e fonti multiple, serve spazio per tutto il materiale di input più l’output.

Finestra contestuale ed errori intrinseci degli LLM

Gli LLM sono soggetti ad errori per ragioni intrinseche allo strumento. Gli LLM non ragionano, non sono affatto intelligenti, lavorano invece di previsione per generare un output testuale, o di codice, o qualsiasi sia la richiesta dell’utente. La loro natura probabilistica li espone a errori che prima o poi si incontreranno:

  • bias: errori dell’AI dovuti a errori di addestramento, culturali e dovuti a pregiudizi, che appartengono all’umano
  • context rot: degradazione dell’output quando l’utente interagisce con l’AI in lunghe finestre di conversazione
  • adulazione: l’accondiscendenza con cui gli LLM tendono quasi inevitabilmente a trattare gli utenti. Adulazione che può essere considerata anticamera di errori.

Questi errori fisiologici possono essere prevenuti, almeno in parte, lavorando di context egineering, oltre che sviluppando una funzionale capacità di interrogare la macchina.

Come scrivere bene un prompt in base alla finestra di contesto

Scrivere bene un prompt in base alla finestra di contesto significa dare al modello solo le informazioni rilevanti, nella posizione giusta, lasciando spazio sufficiente per una risposta completa.

La regola pratica da tenere a mente è semplice: il modello dà più peso a ciò che sta all’inizio e alla fine del prompt, mentre tende a prestare meno attenzione a ciò che è sepolto nel mezzo. Su finestre molto ampie questo effetto si amplifica.

Alcune indicazioni operative per sfruttare al meglio la finestra contestuale:

  • metti le istruzioni più importanti all’inizio del prompt, così il modello le vede per prima
  • ripeti in chiusura del prompt le istruzioni più importanti, soprattutto in presenza di molto materiale intermedio
  • elimina il contesto superfluo, se stai facendo riassumere un articolo, non incollare l’intera homepage del sito
  • in chat lunghe, riassumi periodicamente la conversazione e riparti da un prompt pulito per evitare la degradazione
  • quando serve, usa il RAG per dare solo le informazioni pertinenti invece di caricare interi archivi.

Chi si occupa di ottimizzazione per motori di ricerca generativi, quindi di Generative Engine Optimization, dovrebbe considerare la finestra di contesto anche lato contenuto. Un articolo strutturato con paragrafi brevi, frasi dirette subito dopo gli heading e tabelle comparative viene processato meglio dagli LLM e dai motori di risposta come Perplexity, che lo trovano più facile da indicizzare e citare nelle proprie risposte.

FAQ

Qual è la differenza tra finestra di contesto e memoria del modello?

La finestra contestuale è la memoria a breve termine di una singola sessione, mentre la memoria persistente di alcuni modelli è una funzione separata che salva informazioni tra conversazioni diverse.

Quanti token servono per una pagina di testo italiano?

Una pagina A4 di testo italiano vale indicativamente tra 500 e 700 token, con variazioni dovute alla formattazione, alla densità di contenuto e alla presenza di nomi propri o termini tecnici.

La finestra di contesto influisce sul costo della query?

Sì. Quasi tutti i provider fatturano i token di input e i token di output separatamente. Prompt più lunghi, a parità di risposta, costano di più e consumano più finestra contestuale.

Perplexity ha una finestra di contesto diversa dagli altri LLM?

Perplexity usa modelli con finestre di contesto simili a quelle di Claude o GPT, ma combina il prompt con risultati web recuperati in tempo reale tramite RAG, ampliando di fatto la memoria di lavoro disponibile per ogni query.

Una finestra di contesto più ampia garantisce risposte migliori?

Non sempre. Su prompt molto lunghi il modello può perdere precisione nel recuperare informazioni intermedie. La qualità dipende anche da come il contesto è strutturato, non solo dalla sua dimensione.



Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Are you human? Please solve:Captcha