Il context rot è la degradazione delle prestazioni dei modelli linguistici di grandi dimensioni (LLM) causata da prompt o conversazioni troppo lunghi. Si verifica quando la finestra di contesto si riempie di informazioni irrilevanti, contraddittorie o obsolete: il modello comincia a ignorare istruzioni, perdere il filo del ragionamento e produrre output imprecisi. Il fenomeno colpisce chiunque utilizzi strumenti AI per lavoro, dalla semplice chat all’automazione con agenti AI. Questa guida spiega le cause, mostra esempi concreti e fornisce strategie pratiche per prevenirlo e gestirlo.

Context rot, di cosa si tratta?

Il context rot è la degradazione progressiva degli output di un modello AI causata da una finestra di contesto troppo lunga o mal gestita. Secondo il report di Chroma del luglio 2025, le prestazioni dei modelli crescono in modo non uniforme all’aumentare della lunghezza dell’input: più token carichi nel contesto, meno il modello riesce a usarli bene.

È un po’ come fare una riunione lunghissima: dopo un certo punto, chi partecipa smette di tenere a mente le decisioni prese all’inizio e si concentra solo su ciò che è stato detto di recente. Il modello AI si comporta in modo simile.

Vale la pena ricordare una distinzione importante: la finestra di contesto è la quantità massima di token che un modello può elaborare in un singolo invio. Il context rot non è un problema di limite della finestra, ma di qualità dell’elaborazione al suo interno. Chi vuole approfondire il tema dei prompt AI troverà utile capire prima questo meccanismo.

Quando si verifica il context rot?

Il context rot si manifesta quando la quantità di informazioni nel contesto supera la capacità del modello di elaborarle in modo uniforme. Non esiste una soglia universale: dipende dal modello, dal tipo di task e dalla composizione del prompt.

La tabella seguente descrive i principali scenari in cui il fenomeno emerge.

Scenario	Cosa succede al modello	Rischio principale
Chat breve (< 2.000 token)	Il modello elabora il contesto in modo uniforme e accurato.	Quasi nessuno.
Chat media (2.000–20.000 token)	La precisione comincia a calare, soprattutto per informazioni centrali.	Lost-in-the-middle e distrattori.
Prompt lungo (> 20.000 token)	Degrado significativo: il modello perde obiettivi e produce allucinazioni.	Confusione tra istruzioni, context rot conclamato.
Agente AI multi-step (molti turni)	Il contesto si accumula con dati obsoleti, contraddittori o ridondanti.	Deriva degli obiettivi, errori a cascata.

Tre situazioni specifiche segnalano quasi sempre l’insorgere del context rot:

• la chat che dura ore e accumula decine di scambi: il modello smette di ricordare le istruzioni iniziali
• il documento lungo caricato interamente in un singolo prompt: le informazioni centrali vengono ignorate più di quelle agli estremi
• il workflow di un agente AI che accumula output intermedi senza mai ripulire il contesto: gli errori si moltiplicano a ogni step.

Quali sono le cause del context rot?

Il context rot emerge da tre meccanismi tecnici distinti che si amplificano a vicenda quando la finestra di contesto cresce.

Il meccanismo di attenzione si dilata

I transformer elaborano il testo calcolando relazioni tra tutti i token presenti nel contesto. Quando i token aumentano, il meccanismo di attenzione deve distribuirsi su una superficie molto più ampia, diluendosi. Le informazioni importanti ricevono meno peso e il modello le tratta come meno rilevanti, anche se sono esplicitamente presenti.

Le limitazioni del positional encoding

Ogni token ha una posizione codificata durante l’addestramento. Se il modello è stato addestrato su sequenze di 8.000 token e riceve un prompt da 80.000 token, le posizioni oltre la soglia di addestramento vengono estrapolate, non calcolate: il modello naviga in territorio sconosciuto. L’affidabilità cala in modo non lineare.

Le informazioni fuorvianti: il problema nascosto

Chroma ha documentato un terzo effetto, particolarmente insidioso: i cosiddetti distrattori (in inglese distractor, cioè informazioni che somigliano alla risposta giusta ma non lo sono) abbassano le prestazioni del modello anche quando sono pochi. Bastano quattro distrattori in un contesto lungo per moltiplicare gli errori in modo significativo. I modelli più recenti come Claude Sonnet 4 e GPT-4.1 reggono meglio, ma nessuno è immune.

A questo si aggiunge un paradosso: Chroma ha dimostrato che un testo di riempimento (in inglese haystack, letteralmente pagliaio, cioè il testo irrilevante in cui si cerca l’informazione utile) con una struttura narrativa coerente disturba il modello più di un testo con frasi casuali. In altre parole, più il testo inutile è ben scritto, più è difficile per il modello ignorarlo.

Lost in the middle: il problema del posizionamento

Uno degli effetti più studiati del context rot è il cosiddetto lost in the middle: il modello presta molta più attenzione alle informazioni posizionate all’inizio o alla fine del contesto rispetto a quelle nel mezzo.

Uno studio di Stanford del 2023 ha quantificato il fenomeno su task di question-answering con 20 documenti recuperati (circa 4.000 token): l’accuratezza scendeva dal 70-75% per le informazioni in prima o ultima posizione al 55-60% per quelle al centro. Un calo di 15-20 punti percentuali basato esclusivamente sulla posizione, non sulla qualità del contenuto.

Il meccanismo ha implicazioni dirette per chi costruisce sistemi RAG o prepara prompt complessi. Inserire le istruzioni critiche al centro di un prompt lungo è uno degli errori più comuni e meno visibili nella progettazione di workflow AI. Il tema si intreccia con il concetto di search intent: capire cosa serve al modello in quel preciso momento è la premessa per strutturare il contesto in modo efficace.

Redis sottolinea un’ulteriore complicazione per i sistemi in produzione: il position bias crea un effetto a cascata in cui gli utenti insoddisfatti degli output riformulano le domande, generando chiamate API ridondanti che costano risorse senza migliorare i risultati, perché il problema è strutturale, non lessicale.

Context rot negli agenti AI

Il context rot è particolarmente critico negli agenti AI, sistemi che eseguono task in più step autonomi, chiamando strumenti, leggendo output intermedi e prendendo decisioni successive.

In un agente, il contesto cresce a ogni passaggio: ogni chiamata a uno strumento esterno aggiunge token, ogni risultato intermedio occupa spazio, ogni regola definita all’inizio rimane in memoria. Il risultato è un accumulo progressivo di informazioni che il modello fatica a ordinare per importanza. Gli effetti pratici sono tre:

• l’agente perde di vista l’obiettivo originale e si concentra solo sugli ultimi output ricevuti
• le regole definite all’inizio del lavoro vengono ignorate perché sepolte nel mezzo del contesto
• un errore interpretativo al terzo passaggio si propaga ai successivi, peggiorando a ogni step.

Il problema si aggrava con il ragionamento esplicito (in inglese chain-of-thought prompting): chiedere al modello di spiegare il proprio ragionamento passo dopo passo è normalmente utile, ma su contesti molto lunghi aumenta ulteriormente il numero di token e peggiora le prestazioni.

Esempi concreti di context rot

Questi esempi mostrano come il context rot si manifesta in scenari reali di lavoro digitale.

La sessione di scrittura che va storta

Un copywriter lavora con un modello AI per redigere dieci articoli in un’unica sessione. I primi tre escono bene. Dal quarto in poi, il modello inizia a ignorare le istruzioni date all’inizio: abbandona il tono richiesto, usa termini che erano stati esclusi, allunga le frasi oltre la misura indicata.

La causa è il context rot: la chat ha accumulato migliaia di token e le istruzioni iniziali si trovano ora sepolte a metà del contesto, dove il modello le considera meno importanti.

Il documento lungo caricato in un unico prompt

Un responsabile marketing carica un report di 80 pagine e chiede un’analisi delle criticità. Il modello risponde citando quasi solo i problemi nell’introduzione e nelle conclusioni, ignorando una sezione centrale con dati rilevanti. Questo è il lost in the middle in azione: la posizione conta più del contenuto. Il fenomeno è simile a quello che accade nell’AI Overview di Google, che privilegia i contenuti strutturati e posizionati in modo ottimale nella pagina.

L’agente di sviluppo che perde il filo

Un agente AI per la scrittura di codice riceve istruzioni iniziali precise su struttura del progetto, stile di denominazione delle variabili e librerie da usare. Dopo molti passaggi intermedi, l’agente comincia a proporre soluzioni che contraddicono quelle istruzioni.

Questa guida include questo caso perché è uno dei più frequenti in produzione: le istruzioni iniziali sono sepolte sotto decine di migliaia di token intermedi e il modello smette di applicarle. Le allucinazioni AI che ne derivano non sono casuali: il modello non inventa, perde semplicemente il riferimento.

Come prevenire il context rot?

Prevenire il context rot significa progettare prompt e workflow in modo da mantenere il contesto snello e rilevante fin dall’inizio.

Metti le istruzioni più importanti all’inizio e alla fine

Le informazioni agli estremi del contesto vengono elaborate meglio (in inglese questo effetto si chiama position bias, cioè preferenza per la posizione). Le regole fondamentali, i vincoli e le istruzioni che il modello non deve dimenticare vanno scritte all’inizio del prompt. Se il prompt è lungo, ripetile in forma sintetica anche alla fine.

Elimina le informazioni fuorvianti prima di inviare

Prima di inviare un prompt lungo, rimuovi i contenuti ridondanti, le ripetizioni e le informazioni simili alla risposta che stai cercando ma non pertinenti. Ogni elemento superfluo è un potenziale distrattore (distractor) che distoglie il modello dalla risposta giusta.

Usa il chunking semantico invece di caricare tutto

Invece di caricare un documento intero nel contesto, suddividilo in blocchi semanticamente coerenti e invia solo i blocchi rilevanti per la query specifica. Questo è il principio alla base del RAG, ma si applica anche a livello di singolo prompt manuale.

Limita la lunghezza delle sessioni di lavoro

Una buona pratica operativa è aprire una nuova sessione ogni volta che il task cambia significativamente. Strutturare i contenuti con la logica della GEO aiuta anche in questo senso: risposta diretta in apertura di sezione, contesto minimo necessario, nessuna ridondanza.

Come gestire il context rot?

Quando il context rot è già presente o il workflow non permette di prevenirlo, esistono strategie architetturali e operative per gestirlo.

Strategia	Come funziona	Quando usarla	Strumenti consigliati
Riassunto progressivo.	Si sintetizza la cronologia della chat invece di passarla intera.	Chat lunghe e sessioni multi-turno.	GPT-4o, Claude, funzione di memoria nativa.
RAG (Retrieval-Augmented Generation).	Si recuperano solo i chunk rilevanti da una memoria esterna.	Knowledge base aziendali, documentazione tecnica.	LangChain, LlamaIndex, Redis, Chroma.
Context pruning.	Si eliminano automaticamente i token irrilevanti prima dell’invio.	Prompt ingegnerizzati, pipeline automatizzate.	Script custom, LangChain ContextFilter.
Chunking semantico.	Il documento viene suddiviso in blocchi semanticamente coerenti prima dell’indicizzazione.	Documenti lunghi, report, trascrizioni.	Chroma, Pinecone, Weaviate.
Semantic caching.	Le risposte a query simili vengono riutilizzate senza un nuovo invio al modello.	Sistemi ad alto volume di richieste ripetitive.	Redis LangCache, GPTCache.

RAG: recupera solo ciò che serve

Il RAG (Retrieval-Augmented Generation) è la strategia più efficace contro il context rot su scala. Invece di caricare l’intera base di conoscenza nel prompt, il sistema indicizza i documenti come embedding vettoriali in un database esterno e recupera solo i chunk più rilevanti per ogni query. Il contesto rimane snello, le informazioni rilevanti sono sempre in prima posizione e i distrattori vengono eliminati strutturalmente.

Il workflow standard si articola in tre fasi: indicizzazione dei documenti, retrieval dei chunk più simili alla query, generazione dell’output aumentato. Strumenti come LangChain, LlamaIndex, Chroma e Pinecone implementano questo pattern con diversi livelli di complessità.

Riassunto progressivo della cronologia

Per le chat lunghe, la strategia più semplice è il riassunto progressivo: periodicamente si sintetizza la cronologia della conversazione in un blocco compatto che sostituisce l’intera history. Il modello opera su un contesto sempre aggiornato e compresso, senza perdere le informazioni essenziali.

Pulizia automatica del contesto negli agenti

Per gli agenti AI, il context pruning (letteralmente potatura del contesto), cioè la rimozione automatica dei token non più utili, è la contromisura più diretta. A ogni passaggio del workflow, un modulo separato valuta quali informazioni sono ancora rilevanti per l’obiettivo corrente ed elimina quelle obsolete. L’implementazione richiede un po’ di lavoro tecnico, ma riduce drasticamente il rischio che l’agente perda il filo.

Strumenti per ottimizzare prompt e gestire il contesto

Questi strumenti permettono di implementare le strategie descritte in questa guida senza partire da zero.

Strumento	Funzione principale	Tipo
LangChain	Framework per pipeline RAG e gestione della memoria degli agenti.	Open source / gratuito.
LlamaIndex	Indicizzazione e retrieval su documenti lunghi.	Open source / gratuito.
Chroma	Database vettoriale per chunking e retrieval semantico.	Open source / gratuito.
Redis LangCache	Semantic caching per eliminare query ridondanti.	Freemium / a pagamento.
Pinecone	Database vettoriale cloud-native per RAG su larga scala.	Freemium / a pagamento.
Mem0	Memoria persistente e personalizzata per agenti AI.	Freemium / a pagamento.

FAQ sul context rot

Domande frequenti per chi inizia a lavorare con LLM su task complessi.

Il context rot riguarda solo i modelli meno avanzati?

Il report di Chroma del luglio 2025 ha testato 18 modelli, inclusi Claude Sonnet 4, GPT-4.1 e Gemini 2.5, riscontrando degrado delle prestazioni in tutti. I modelli più avanzati sono più resistenti ai distrattori, ma nessuno è immune al context rot su contesti molto lunghi.

Aumentare la finestra di contesto risolve il problema?

No, e può peggiorarlo. Una finestra più grande permette di inserire più token, ma il meccanismo di attenzione si dilata ulteriormente. Il problema non è la quantità di token accettata, ma la qualità dell’elaborazione all’interno della finestra.

Come capisco se il mio workflow è colpito da context rot?

I segnali principali sono: output che ignorano istruzioni definite all’inizio della sessione, risposte che contraddicono vincoli espliciti, agenti che derivano dagli obiettivi originali, aumento delle allucinazioni nel corso di una conversazione lunga.

Il RAG è sempre la soluzione migliore?

È la soluzione più robusta su scala, ma richiede infrastruttura. Per sessioni di lavoro ordinarie, il riassunto progressivo e il chunking manuale sono sufficienti e non richiedono implementazioni tecniche complesse.

Il chain-of-thought prompting aiuta contro il context rot?

Non sempre. Su task a lungo contesto, la ricerca ha dimostrato che aggiungere ragionamento esplicito può peggiorare le prestazioni aumentando ulteriormente il numero di token. È preferibile usare sessioni separate per il ragionamento e per la produzione dell’output finale.