Vaš AI agent mora moći reći "ne znam"
Agent s dva izlaza, odgovor ili error, odlučuje i onda kad ne bi smio. Treći izlaz, abstention, mora se dizajnirati u kodu, testirati u eval setu i zabilježiti u decision logu.
Prepisani da se čitaju izvan feeda, na tri jezika. Kanonski link uvijek vodi ovamo.
Agent s dva izlaza, odgovor ili error, odlučuje i onda kad ne bi smio. Treći izlaz, abstention, mora se dizajnirati u kodu, testirati u eval setu i zabilježiti u decision logu.
Stavljanje svega u prompt radi za prototip. U produkciji premješta probleme troška, testiranja, dozvola i audita umjesto da ih ukloni: odaberite što ulazi, filtrirajte po dozvolama i zabilježite context.
Verzija modela ima objavljen datum kraja. Zamjena je izdanje: eval set, stvarni prošli slučajevi, shadow, zakucana verzija i verzija modela zabilježena uz svaku odluku.
Agent ne razlikuje pouzdano vaše upute od uputa skrivenih u tekstu koji čita. Granica mora biti izvan modela: uski credentials, validacija na serveru i approval za radnje koje se ne poništavaju.
AI agent se mijenja nakon isporuke čak i ako ga nitko ne dira. Pet stvari mora izaći zajedno sa sustavom da ga klijent može održavati i provjeravati.
Mnogi interni AI asistenti kreću od embeddinga iz navike. Prvo isprobajte klasičnu pretragu na stvarnim pitanjima, a vektore dodajte samo tamo gdje ih eval set pokaže potrebnima.
Anchoring decision ledgera na chain dokazuje postojanje i integritet. Ne dokazuje da je zapis bio točan, log potpun ni da je onaj tko piše bio pošten. Taj posao je prije hasha.
Većina timova ne zna reći koji su prompt, verzija modela i retrieval index proizveli neku AI odluku. Sve troje treba tretirati kao release artefakte i bilježiti uz svaku odluku.
Fine-tuning je često prvi prijedlog kad AI funkcionalnost ne radi dobro. Modelu najčešće nedostaje kontekst, ne sposobnost, a bez eval seta ne znaš ni je li tuning pomogao.
U projektima s AI agentima ograničenje rijetko je model. To je sustav koji drži podatke tvrtke — čitanje je lakša polovica, a pisanje je gdje žive integritet, identitet i budžet.