U demu je besplatno. Produkcija ima brojač
AI agent prođe demo po točnosti. U produkciji o opstanku odlučuje trošak po zadatku: tokeni, tool calls, retryji i loop koji se može raspliniti.
Gotovo svaki pilot AI agenta prođe demo. To nije znak da je sustav spreman — nego da je demo bio jeftin za pokrenuti. Demo se izvrši nekoliko puta, po happy pathu, uz nekoga tko gleda. Nitko ne provjerava trošak, jer na šačici izvršavanja trošak se zaokruži na nulu. Produkcija je suprotno: isti agent radi tisuće puta dnevno, na stvarnim inputima, bez ikoga u sobi. Na toj skali o tome hoće li agent preživjeti ne odlučuje točnost. Odlučuje broj koji demo nikad nije pokazao — trošak po zadatku.
Što pokreće brojač
Svaki korak agenta je novac. Svaki poziv modelu su tokeni koje plaćaš; svaki tool call je compute i često još jedan naplatni API. Dok su koraci malobrojni i fiksni, račun je trivijalan. Ali agent nije fiksni pipeline — posjeduje vlastiti control flow. Sam odlučuje kad će re-planirati, kad ponovno pozvati tool, kad napraviti retry. Upravo ga to čini korisnim, i upravo to trošak pretvara iz stavke u varijablu.
Zadatak koji na happy pathu košta cent može, pred dvosmislenim inputom, re-planirati nekoliko puta, ponovno zvati iste tools i u najgorem slučaju ući u loop koji se vrti dok ga nešto ne zaustavi. Sto običnih izvršavanja i jedan runaway mogu težiti jednako. I za razliku od procesa koji se sruši, skupi loop ne baca iznimku: vrati uvjerljiv, dobro oblikovan odgovor i nastavi dalje. Trošak raste tiho, a to je najopasniji način na koji trošak može rasti.
Nije model, nego inženjerstvo oko njega
Dobra je vijest da se ništa od ovoga ne tiče točnosti modela i ništa ne traži proboj. To je obično inženjerstvo distribuiranih sustava, ista disciplina koju bi primijenio na bilo koji servis koji zove druge naplatne servise. Budget po zadatku, s hard limitom koji zaustavi loop umjesto da ga pusti da se raspline. Cache na ono što se ponavlja, jer ponovno računati isti odgovor čisti je gubitak. Routing lakših koraka na manji model, a skupi ostaje samo ondje gdje se isplati. I loop koji je observable u svojoj potrošnji, ne samo u ishodu: koliko poziva, koji tools, koliko tokena, pripisano jednom zadatku. Ne možeš kontrolirati trošak koji ne vidiš, a većina timova instrumentira odgovor dok brojač ostaje u mraku.
Broj koji se broji je trošak po uspješnom zadatku
Za tvrtke u regiji i strane partnere ovo je pitanje marže, ne samo tehnike. U demu se trošak ne vidi, ali ugovor s fiksnom cijenom ga učini stvarnim: ako ponudiš uslugu ne znajući koliko košta pokrenuti je pod opterećenjem, varijablu upiješ ti. Operativni trošak se projektira prije ponude, ne otkriva se na računu tri mjeseca poslije.
A poštena metrika nije prosječni trošak, nego trošak po uspješnom zadatku. Neuspjeli pokušaji, retryji u prazno i loopovi koji ne daju ništa također koštaju, i upravo oni dijele proizvod s maržom od tihog curenja koje izgleda kao da radi. Točnost dovede agenta do potpisa na zadnjem sastanku prije lansiranja. Cost per task odlučuje je li šest mjeseci poslije još u produkciji — ili je tiho koštao više po zadatku nego što je vrijedio posao koji je zamijenio.
Ako tvoj agent sutra preuzme deset puta veći volumen, znaš li reći koliko košta — ili samo da radi?