Una finestra di contesto più grande non è un'architettura

I modelli accettano ormai input molto lunghi, e una scorciatoia diffusa è saltare il lavoro di retrieval e mettere tutto nel prompt. Per un prototipo funziona. Per un sistema che qualcuno deve far girare, sposta i problemi invece di toglierli.

Che cosa peggiora quando il prompt cresce

Costo e latenza crescono con ogni token inviato, a ogni chiamata, che il modello abbia avuto bisogno di quella pagina o no. La qualità sugli input lunghi può calare: la risposta può appoggiarsi al passaggio sbagliato o perderne uno nel mezzo, e non lo vedete se non misurate. Anche il collaudo si complica. Quando il contesto è un mucchio di documenti, cambiarne uno qualsiasi è cambiare l'agente, e l'eval set eseguito il mese scorso non descrive più ciò che gira oggi.

Permessi e audit sono i problemi silenziosi

Tutto ciò che sta nel contesto può finire nella risposta. Se il prompt contiene documenti che quell'utente non può vedere, avete costruito una fuga di dati e l'avete chiamata comodità. I controlli sui permessi stanno prima che il modello veda qualcosa, non in un'istruzione che gli chiede di essere discreto. Lo stesso mucchio indebolisce l'audit. Quando una decisione viene contestata, «il modello ha visto tutto» non è una risposta. Un revisore vuole sapere quali documenti, in quale versione, avesse davanti il modello quando ha deciso.

Cosa fare invece

L'alternativa è poco brillante. Per ogni compito, decidere che cosa entra: i pochi passaggi, record o regole che servono a quel compito. Filtrare in base ai permessi della persona o del servizio per conto del quale l'agente agisce. Far girare l'eval set su una versione con meno contesto e su una con più contesto, e tenere la più piccola se la differenza non si vede. Se la più grande è davvero migliore sui vostri casi, usatela con cognizione e mettete il costo a budget.

Poi registrare gli identificativi e le versioni di ciò che c'era nel contesto con ogni decisione nel registro delle decisioni. Mesi dopo potete rispondere a che cosa vedeva l'agente, e rifare il caso.

Dove una finestra grande si guadagna il posto

Ci sono compiti in cui l'intero documento è davvero l'unità di lavoro: rivedere un contratto dall'inizio alla fine, o riassumere una relazione lunga. Mettere quel singolo documento nel contesto è sensato, e una finestra grande lo permette senza trucchi di spezzettamento. Il punto è che la scelta si fa per il compito e si misura, non si fa una volta per tutto il sistema perché il limite lo consente.

Cosa significa per una consegna

Per una software house .NET significa un componente che costruisce il contesto, con test propri, e non una concatenazione di stringhe. Una finestra grande è utile. È un budget, non un progetto. Scrivete nel documento di progetto che cosa entra nel contesto, chi lo decide e come lo si misura.

Come decidete oggi che cosa entra nel contesto del vostro agente?