Koji je prompt donio tu odluku?
Većina timova ne zna reći koji su prompt, verzija modela i retrieval index proizveli neku AI odluku. Sve troje treba tretirati kao release artefakte i bilježiti uz svaku odluku.
Uzmite bilo koju odluku koju je vaša AI funkcionalnost donijela u produkciji prije tri tjedna i postavite jednostavno pitanje: koji ju je prompt proizveo? U većini timova iskren odgovor glasi "vjerojatno trenutni, osim ako ga netko nije promijenio". To nije odgovor za incident review, za klijenta ni za revizora.
Tri stvari mijenjaju ponašanje, a nijedna ne prolazi kroz release
Ponašanje AI funkcionalnosti ne ovisi samo o kodu. Prompt određuje kako se model instruira. Model određuje kako se te instrukcije tumače. Retrieval index određuje koji kontekst model vidi. Promijeni bilo koju od tih triju stvari i isti input može dati drugačiju odluku.
U mnogim sustavima nijedna od njih ne prolazi kroz release. Prompt živi u retku baze ili u admin panelu i mijenja se izravno u produkciji. Model se poziva preko aliasa kao što je "latest", a provider taj alias prebacuje na novu verziju po svom rasporedu. Index se ponovno gradi noćnim jobom. Nitko ništa ne pokvari, a ponašanje se ipak pomakne, i kad netko pita zašto, nema se s čim usporediti.
Tretirati ih kao release artefakte
Rješenje nije novi alat. To je release disciplina koju već primjenjujemo na kod, proširena na dijelove koji najviše mijenjaju ponašanje.
Prompt je kod: ide u repository, prolazi review, ima verziju i ide u produkciju s releaseom. Model je dependency: pinaš točan identifikator verzije koji provider izlaže, nikad alias, i nadograđuješ ga namjerno. I index ima verziju, vezanu uz dokumente i embedding model koji su ga izgradili.
Svaka promjena bilo koje od tih triju stvari prolazi isti gate: eval set na novoj kombinaciji, usporedba s onom u produkciji, pa release. Rollback je redeploy prethodne kombinacije, ne prompt prepisan po sjećanju.
Bilježiti trojku uz svaku odluku
Zadnji korak daje smisao ostalima. Svaka odluka bilježi na čemu je radila: verziju prompta, identifikator modela, verziju indexa, uz input i output.
Tako incident review kreće od činjenica: ova odluka, ovaj prompt, ovaj model, ovi dokumenti. Može se reproducirati i usporediti s trenutnim ponašanjem. Kad revizor ili strani partner pita zašto je sustav odlučio tako, to je jedini odgovor koji nije nagađanje.
Za tvrtke u regiji koje isporučuju stranim klijentima to nije novi alat ni novi trošak. Versioning, pinanje i release gate već postoje; samo ih treba primijeniti na dio sustava koji najviše mijenja ponašanje.
Gdje danas živi prompt koji imate u produkciji, i biste li znali reći koja je verzija donosila odluke prošlog mjeseca?