Veći context window nije arhitektura

Modeli sada prihvaćaju vrlo duge ulaze, pa je česta prečica preskočiti retrieval i staviti sve u prompt. Za prototip radi. Za sustav koji netko mora voditi, problemi se samo premještaju.

Što se pogoršava kako prompt raste

Trošak i latencija rastu sa svakim tokenom koji pošaljete, na svakom pozivu, bez obzira je li modelu trebala ta stranica. Kvaliteta na dugim ulazima može popustiti: odgovor se može osloniti na krivi odlomak ili propustiti onaj u sredini, a to nećete vidjeti ako ne mjerite. I testiranje se komplicira. Kad je context hrpa dokumenata, promjena bilo kojeg od njih je promjena agenta, a eval set pokrenut prošli mjesec više ne opisuje ono što danas radi.

Dozvole i audit su tihi problemi

Sve što je u contextu može završiti u odgovoru. Ako prompt sadrži dokumente koje taj korisnik ne smije vidjeti, napravili ste leak i nazvali ga praktičnošću. Provjere dozvola dolaze prije nego što model išta vidi, a ne u uputi koja ga moli da bude diskretan. Ista hrpa slabi audit. Kad se odluka dovede u pitanje, "model je vidio sve" nije odgovor. Revizor želi znati koji su dokumenti, u kojoj verziji, bili pred modelom kad je odlučio.

Što učiniti umjesto toga

Alternativa nije sjajna. Za svaki zadatak odlučite što ulazi: nekoliko odlomaka, zapisa ili pravila koje zadatak treba. Filtrirajte prema dozvolama osobe ili servisa u čije ime agent djeluje. Pokrenite eval set na verziji s manje contexta i na verziji s više, i zadržite manju ako se razlika ne vidi. Ako je veća zaista bolja na vašim slučajevima, koristite je svjesno i stavite trošak u budžet.

Zatim uz svaku odluku u decision logu zabilježite identifikatore i verzije onoga što je bilo u contextu. Mjesecima kasnije možete odgovoriti što je agent vidio i ponoviti slučaj. Tako trošak ostaje predvidiv, a svaki odgovor ima trag koji se može provjeriti.

Gdje veliki window zaslužuje mjesto

Postoje zadaci u kojima je cijeli dokument doista jedinica rada: pregled jednog ugovora od početka do kraja ili sažetak jednog dugog izvješća. Staviti taj jedan dokument u context je razumno, a veliki window to omogućuje bez trikova s dijeljenjem na dijelove. Poanta je da se izbor radi za zadatak i mjeri, a ne jednom za cijeli sustav jer ga ograničenje dopušta.

Što to znači za isporuku

Za tvrtke u regiji koje rade za strane klijente to je pitanje koje će postaviti revizor. Veliki window je koristan. To je budžet, ne dizajn. U projektni dokument upišite što ulazi u context, tko to odlučuje i kako se mjeri.

Kako danas odlučujete što ulazi u context vašeg agenta?